Python爬虫设置Cookie解决网站拦截并爬取蚂蚁短租的问题
我们在编写Python爬虫时，有时会遇到网站拒绝访问等反爬手段，比如这么我们想爬取蚂蚁短租数据，它则会提示“当前访问疑似黑客攻击，已被网站管理员设置为拦截”提示，如下图所示。此时我们需要采用设置Cookie来进行爬取，下面我们进行详细介绍。非常感谢我的学生承峰提供的思想，后浪推前浪啊！
一.网站分析与爬虫拦截
当我们打开蚂蚁短租搜索贵阳市，反馈如下图所示结果。
我们可以看到短租房信息呈现一定规律分布，如下图所示，这也是我们要爬取的信息。
通过浏览器审查元素，我们可以看到需要爬取每条租房信息都位于
节点下。很多人学习python，不知道从何学起。
很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。
很多已经做案例的人，却不知道如何去学习更加高深的知识。
那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！
QQ群：810735403
在定位房屋名称，如下图所示，位于
接下来我们写个简单的BeautifulSoup进行爬取。
#-*-coding:utf-8-*-
importurllib
importre
frombs4importBeautifulSoup
importcodecs
url='http://www.mayi.com/guiyang/?map=no'
response=urllib.urlopen(url)
contents=response.read()
soup=BeautifulSoup(contents,"html.parser")
printsoup.title
printsoup
#短租房名称
fortaginsoup.find_all('dd'):
fornameintag.find_all(attrs={"class":"room-detailclearfloat"}):
fname=name.find('p').get_text()
printu'[短租房名称]',fname.replace('\n','').strip()
但很遗憾，报错了，说明蚂蚁金服防范措施还是挺到位的。
二.设置Cookie的BeautifulSoup爬虫
添加消息头的代码如下所示，这里先给出代码和结果，再教大家如何获取Cookie。
#-*-coding:utf-8-*-
importurllib2
importre
frombs4importBeautifulSoup
#爬虫函数
defgydzf(url):
user_agent="Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/51.0.2704.103Safari/537.36"
headers={"User-Agent":user_agent}
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
contents=response.read()
soup=BeautifulSoup(contents,"html.parser")
fortaginsoup.find_all('dd'):
#短租房名称
fornameintag.find_all(attrs={"class":"room-detailclearfloat"}):
fname=name.find('p').get_text()
printu'[短租房名称]',fname.replace('\n','').strip()
#短租房价格
forpriceintag.find_all(attrs={"class":"moy-b"}):
string=price.find('p').get_text()
fprice=re.sub("[￥]+".decode("utf8"),"".decode("utf8"),string)
fprice=fprice[0:5]
printu'[短租房价格]',fprice.replace('\n','').strip()
#评分及评论人数
forscoreinname.find('ul'):
fscore=name.find('ul').get_text()
printu'[短租房评分/评论/居住人数]',fscore.replace('\n','').strip()
#网页链接url
url_dzf=tag.find(attrs={"target":"_blank"})
urls=url_dzf.attrs['href']
printu'[网页链接]',urls.replace('\n','').strip()
urlss='http://www.mayi.com'+urls+''
printurlss
#主函数
if__name__=='__main__':
i=1
whilei<10:
printu'页码',i
url='http://www.mayi.com/guiyang/'+str(i)+'/?map=no'
gydzf(url)
i=i+1
else:
printu"结束"
输出结果如下图所示：
页码1
[短租房名称]大唐东原财富广场--城市简约复式民宿
[短租房价格]298
[短租房评分/评论/居住人数]5.0分·5条评论·二居·可住3人
[网页链接]/room/851634765
http://www.mayi.com/room/851634765
[短租房名称]大唐东原财富广场--清新柠檬复式民宿
[短租房价格]568
[短租房评分/评论/居住人数]2条评论·三居·可住6人
[网页链接]/room/851634467
http://www.mayi.com/room/851634467
...
页码9
[短租房名称]【高铁北站公园旁】美式风情+超大舒适安逸
[短租房价格]366
[短租房评分/评论/居住人数]3条评论·二居·可住5人
[网页链接]/room/851018852
http://www.mayi.com/room/851018852
[短租房名称]大营坡（中大国际购物中心附近）北欧小清新三室
[短租房价格]298
[短租房评分/评论/居住人数]三居·可住6人
[网页链接]/room/851647045
http://www.mayi.com/room/851647045
接下来我们想获取详细信息
这里作者主要是提供分析Cookie的方法，使用浏览器打开网页，右键“检查”，然后再刷新网页。在“NetWork”中找到网页并点击，在弹出来的Headers中就隐藏这这些信息。
最常见的两个参数是Cookie和User-Agent，如下图所示：
然后在Python代码中设置这些参数，再调用Urllib2.Request()提交请求即可，核心代码如下：
user_agent="Mozilla/5.0(WindowsNT10.0;Win64;x64)...Chrome/61.0.3163.100Safari/537.36"
cookie="mediav=%7B%22eid%22%3A%22387123...b3574ef2-21b9-11e8-b39c-1bc4029c43b8"
headers={"User-Agent":user_agent,"Cookie":cookie}
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
contents=response.read()
soup=BeautifulSoup(contents,"html.parser")
fortag1insoup.find_all(attrs={"class":"main"}):
注意，每小时Cookie会更新一次，我们需要手动修改Cookie值即可，就是上面代码的cookie变量和user_agent变量。完整代码如下所示：
importurllib2
importre
frombs4importBeautifulSoup
importcodecs
importcsv
c=open("ycf.csv","wb")#write写
c.write(codecs.BOM_UTF8)
writer=csv.writer(c)
writer.writerow(["短租房名称","地址","价格","评分","可住人数","人均价格"])
#爬取详细信息
defgetInfo(url,fname,fprice,fscore,users):
#通过浏览器开发者模式查看访问使用的user_agent及cookie设置访问头（headers）避免反爬虫,且每隔一段时间运行要根据开发者中的cookie更改代码中的cookie
user_agent="Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/61.0.3163.100Safari/537.36"
cookie="mediav=%7B%22eid%22%3A%22387123%22eb7;mayi_uuid=1582009990674274976491;sid=42200298656434922.85.130.130"
headers={"User-Agent":user_agent,"Cookie":cookie}
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
contents=response.read()
soup=BeautifulSoup(contents,"html.parser")
#短租房地址
fortag1insoup.find_all(attrs={"class":"main"}):
printu'短租房地址:'
fortag2intag1.find_all(attrs={"class":"desWord"}):
address=tag2.find('p').get_text()
printaddress
#可住人数
printu'可住人数:'
fortag4intag1.find_all(attrs={"class":"w258"}):
yy=tag4.find('span').get_text()
printyy
fname=fname.encode("utf-8")
address=address.encode("utf-8")
fprice=fprice.encode("utf-8")
fscore=fscore.encode("utf-8")
fpeople=yy[2:3].encode("utf-8")
ones=int(float(fprice))/int(float(fpeople))
#存储至本地
writer.writerow([fname,address,fprice,fscore,fpeople,ones])
#爬虫函数
defgydzf(url):
user_agent="Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/51.0.2704.103Safari/537.36"
headers={"User-Agent":user_agent}
request=urllib2.Request(url,headers=headers)
response=urllib2.urlopen(request)
contents=response.read()
soup=BeautifulSoup(contents,"html.parser")
fortaginsoup.find_all('dd'):
#短租房名称
fornameintag.find_all(attrs={"class":"room-detailclearfloat"}):
fname=name.find('p').get_text()
printu'[短租房名称]',fname.replace('\n','').strip()
#短租房价格
forpriceintag.find_all(attrs={"class":"moy-b"}):
string=price.find('p').get_text()
fprice=re.sub("[￥]+".decode("utf8"),"".decode("utf8"),string)
fprice=fprice[0:5]
printu'[短租房价格]',fprice.replace('\n','').strip()
#评分及评论人数
forscoreinname.find('ul'):
fscore=name.find('ul').get_text()
printu'[短租房评分/评论/居住人数]',fscore.replace('\n','').strip()
#网页链接url
url_dzf=tag.find(attrs={"target":"_blank"})
urls=url_dzf.attrs['href']
printu'[网页链接]',urls.replace('\n','').strip()
urlss='http://www.mayi.com'+urls+''
printurlss
getInfo(urlss,fname,fprice,fscore,user_agent)
#主函数
if__name__=='__main__':
i=0
whilei<33:
printu'页码',(i+1)
if(i==0):
url='http://www.mayi.com/guiyang/?map=no'
if(i>0):
num=i+2#除了第一页是空的，第二页开始按2顺序递增
url='http://www.mayi.com/guiyang/'+str(num)+'/?map=no'
gydzf(url)
i=i+1
c.close()
输出结果如下，存储本地CSV文件：
同时，大家可以尝试Selenium爬取蚂蚁短租，应该也是可行的方法。
到此这篇关于Python爬虫设置Cookie解决网站拦截并爬取蚂蚁短租的文章就介绍到这了,更多相关Python爬虫爬取蚂蚁短租内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。