python2爬取百度贴吧指定关键字和图片代码实例
目的:在百度贴吧输入关键字和要查找的起始结束页,获取帖子里面楼主所发的图片
思路:
- 获取分页里面的帖子链接列表
- 获取帖子里面楼主所发的图片链接列表
- 保存图片到本地
注意事项:
- 问题:在谷歌浏览器使用xpathhelper插件时有匹配结果,但在程序里面使用python内带的xpath匹配却为空的原因。
- 原因:不同服务器会对不同的浏览器返回不同的数据,导致在谷歌浏览器看到的和服务器返回的有区别
- 解决方法:使用IE浏览器的User-agenet,而且越老的版本,报错几率相对越小
#!/usr/bin/envpython #-*-coding:utf-8-*- importurllib2 importurllib importos fromlxmlimportetree keyword=raw_input('请输入要查询的关键字:') keyword={'kw':keyword} kw=urllib.urlencode(keyword) startpage=raw_input('请输入开始页数:') endpage=raw_input('请输入结束页数:') url='https://tieba.baidu.com/f'+'?'+kw print('开始下载...') #计算下载的图片个数,注意:变量n如放在最外层循环,可以统计每个分页图片个数 n=0 #获取分页里面帖子链接列表,获取每个帖子里楼主所发的图片链接列表,保存图片 #获取帖子链接列表 forpageinrange(int(startpage),int(endpage)+1): pnumber={'pn':str((page-1)*50)} pnumber=urllib.urlencode(pnumber) fullurl=url+'&'+pnumber #发现使用谷歌浏览器的User-Agent,会导致后面的xpath匹配结果有时为空。原因:服务器会对不同的浏览器发出的同一请求返回不同格式的数据,此时返回的数据和在谷歌浏览器里面看到的数据不同。 #解决办法:使用IE浏览器的User-Agent,因为IE的相对来说更标准,而且版本越老问题越少。 headers={"User-Agent":"Mozilla/5.0(WindowsNT6.1;WOW64;Trident/7.0;rv:11.0)likeGecko"} request=urllib2.Request(fullurl,headers=headers) response=urllib2.urlopen(request) html=response.read() #解析html为HTMLDOM文档 content=etree.HTML(html) #xpath使用下面括号内容进行匹配,使用a的属性使用了class='j_th_tit'去过滤广告则匹配结果为空;换成a的属性rel="noreferrer"就解决。为啥换不清楚。思路,这个属性不行换个属性。 #获取每个分页里面的帖子的链接列表 link_list=content.xpath('//div[@class="threadlist_lzclearfix"]/div/a[@rel="noreferrer"]/@href') #获取该帖子楼主所发的图片链接列表 forlinkinlink_list: link='https://tieba.baidu.com'+link request2=urllib2.Request(link,headers=headers) response2=urllib2.urlopen(request2) html2=response2.read() #把html字符串解析为htmldom content2=etree.HTML(html2) #使用xpath匹配其里面层主所发的图片的链接 link_list2=content2.xpath('//img[@class="BDE_Image"]/@src') #遍历图片链接列表,保存图片到文件夹images内 forlink2inlink_list2: request3=urllib2.Request(link2,headers=headers) response3=urllib2.urlopen(request3) html3=response3.read() #指定文件名 filename=link2[-10:] n+=1 print('正在保存第%3d张图片'%n) #html3为返回的图片内容,把图片写入images2文件夹内 withopen('images'+'/'+filename,'wb')asf: f.write(html3) print('下载结束!')
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。