python爬虫模拟浏览器访问-User-Agent过程解析
这篇文章主要介绍了python爬虫模拟浏览器访问-User-Agent过程解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
模拟浏览器访问-User-Agent:
importurllib2 #User-Agent模拟浏览器访问 headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/79.0.3945.88Safari/537.36"} #通过urllib2.Request()方法构造一个请求对象 request=urllib2.Request("http://www.baidu.com/",headers=headers) #向指定的URL地址发送请求,并返回服务器响应的类文件对象 #response是服务器响应的类文件,除了支持文件操作的方法外,还支持以下常用的方法: response=urllib2.urlopen(request) #服务器返回的类文件对象支持python文件对象的操作方法 #read()方法就是读取文件里的全部内容,返回字符串 html=response.read() #返回HTTP的响应码,成功返回200,4服务器页面出错;5.服务器问题 printresponse.getcode() #返回实际数据的实际URL,防止重定向问题 printresponse.geturl() #返回服务器响应的HTTP报头 printresponse.info() #打印响应内容 print(html)
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。