编写Python爬虫抓取豆瓣电影TOP100及用户头像的方法
抓取豆瓣电影TOP100
一、分析豆瓣top页面，构建程序结构
1.首先打开网页http://movie.douban.com/top250?start，也就是top页面
然后试着点击到top100的页面，注意带top100的链接依次为
http://movie.douban.com/top250?start=0 http://movie.douban.com/top250?start=25 http://movie.douban.com/top250?start=50 http://movie.douban.com/top250?start=75
2.然后通过查看源码，发现电影名的代码如下：
<spanclass="title">肖申克的救赎</span>
<spanclass="title"> / TheShawshankRedemption</span>
如图，因为有一些英文名等描述，通过正则抓取有些干扰，可能还需要后续过滤。
根据以上信息，此程序主要分以下3个步骤：
二、构建url地址池
- 抓取top100电影名称
- 依次打印输出
依次写出代码
1.构建url地址池。代码如下：
importurllib2 importre #----------确定url地址池------------ pre_url='http://movie.douban.com/top250?start=' top_urls=[] #因为top100，每页25部电影，故为4页,从零开始 fornuminrange(4): top_urls.append(pre_url+str(num*25))
2.抓取top100电影名称
#------------抓取top100电影名称----------
top_content=[]
top_tag=re.compile(r'<spanclass="title">(.+?)</span>')
forurlintop_urls:
content=urllib2.urlopen(url).read()
pre_content=re.findall(top_tag,content)
#过滤不符合条件的list，得到最后的top100的list
foriteminpre_content:
ifitem.find(' ')==-1:
top_content.append(item)
3.打印输出
top_num=1 foritemintop_content: print'Top'+str(top_num)+''+item top_num+=1
三、整理代码
我还是python新手，还没有太多的pythonic思想，也没有代码优化技巧，只能说是整理。
其次，个人习惯，在简单的代码里面我还是喜欢少用函数，尽量不隐藏代码的逻辑。
以下代码请参考，并欢迎提意见，希望得到大家的意见，谢谢！
整理后的代码如下：
#coding=utf-8
'''
本代码为自动抓取豆瓣top100电影代码
@pre_urlurl地址前缀，在这里为http://movie.douban.com/top250?start=
@top_urlsurl地址池
@top_tag为抓取电影名正则表达式
'''
importurllib2
importre
pre_url='http://movie.douban.com/top250?start='
top_urls=[]
top_tag=re.compile(r'<spanclass="title">(.+?)</span>')
top_content=[]
top_num=1
#----------确定url地址池------------
#因为top100，每页25部电影，故为4页,从零开始
fornuminrange(4):
top_urls.append(pre_url+str(num*25))
#------------抓取top100电影名称，并打印输出----------
top_tag=re.compile(r'<spanclass="title">(.+?)</span>')
forurlintop_urls:
content=urllib2.urlopen(url).read()
pre_content=re.findall(top_tag,content)
#过滤并打印输出
foriteminpre_content:
ifitem.find(' ')==-1:
print'Top'+str(top_num)+''+item
top_num+=1
抓取用户头像图片
importurllib.request
importre
importtime
#获取输入的帖子单页html
defgetHtml2(url2):
html2=urllib.request.urlopen(url2).read().decode('utf-8')
returnhtml2
#抽取图片相关列表，并下载图片
defgettopic(html2):
reg2=r'http://www.douban.com/group/topic/\d+'
topiclist=re.findall(reg2,html2)
x=0
#限制下载的图片数
fortopicurlintopiclist:
x+=1
returntopicurl
#下载图片到本地
defdownload(topic_page):
reg3=r'http://img3.douban.com/view/group_topic/large/public/.+\.jpg'
imglist=re.findall(reg3,topic_page)
i=1
download_img=None
forimgurlinimglist:
#取图片ID为文件名
img_numlist=re.findall(r'p\d{7}',imgurl)
forimg_numinimg_numlist:
download_img=urllib.request.urlretrieve(imgurl,'D:\python\code\girls\%s.jpg'%img_num)
time.sleep(1)
i+=1
print(imgurl)
returndownload_img
#调用函数
page_end=int(input('请输入结束时的页码：'))
num_end=page_end*25
num=0
page_num=1
whilenum<=num_end:
html2=getHtml2('http://www.douban.com/group/kaopulove/discussion?start=%d'%num)
topicurl=gettopic(html2)
topic_page=getHtml2(topicurl)
download_img=download(topic_page)
num=page_num*25
page_num+=1
else:
print('采集完成！')