Python3如何对urllib和urllib2进行重构
这篇文章主要介绍了Python3如何对urllib和urllib2进行重构,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
python3对urllib和urllib2进行了重构,拆分成了urllib.request,urllib.response,urllib.parse,urllib.error等几个子模块,这样的架构从逻辑和结构上说更加合理。urllib库无需安装,python3自带。python3.x中将urllib库和urilib2库合并成了urllib库。其中
- urllib2.urlopen()变成了urllib.request.urlopen()
- urllib2.Request()变成了urllib.request.Request()
- python2中的cookielib改为http.cookiejar.
- importhttp.cookiejar代替importcookielib
- urljoin现在对应的函数是urllib.parse.urljoin
代码如下
importurllib.request
importhttp.cookiejar
url="http://www.baidu.com"
print('第一种方法')
response1=urllib.request.urlopen(url)
print(response1.getcode())
print(len(response1.read()))
print('第二种方法')
request=urllib.request.Request(url)
request.add_header("user-agent","Mozilla/5.0")#将爬虫伪装成浏览器
response2=urllib.request.urlopen(request)
print(response2.getcode())#打印状态码
print(len(response2.read()))#打印内容长度
print('第三种方法')
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
urllib.request.install_opener(opener)
response3=urllib.request.urlopen(url)
print(response1.getcode())
print(cj)#输出cookie
print(response1.read())
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持毛票票。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。