python爬虫之urllib,伪装,超时设置,异常处理的方法
Urllib
1.Urllib.request.urlopen().read().decode()
返回一个二进制的对象，对这个对象进行read()操作，可以得到一个包含网页的二进制字符串，然后用decode()解码成html源码
2.urlretrieve()
将一个网页爬取到本地
3.urlclearup()
清除urlretrieve()所产生的缓存
4.info()
返回一个httpMessage对象，表示远程服务器的头信息
5.getcode()
获取当前网页的状态码200代表成功，404网页未找到
6.geturl()
获取当前爬取页面的网址
示例：
fromurllibimportrequest
#urlretrieve()--将一个网页爬取到本地
request.urlretrieve("http://www.baidu.com",filename="demo.html")
#urlclearup()--清除urlretrieve()所产生的缓存
request.urlcleanup()
#info()--返回一个httpMessage对象,表示远程服务器的头信息
data=request.urlopen("http://www.taobao.com")
print(data.info())
#getcode()--获取当前网页的状态码data.geturl()
print(data.getcode())
#获取当前爬取页面的网址
print(data.geturl())
运行结果：
Server:Tengine Date:Wed,09May201809:55:16GMT Content-Type:text/html;charset=utf-8 Transfer-Encoding:chunked Connection:close Vary:Accept-Encoding X-Snapshot-Age:1 Content-MD5:tkjcPUrHBAIt2N/YXcuwZg== Vary:Ali-Detector-Type,X-CIP-PT Cache-Control:max-age=0,s-maxage=89 ETag:W/"29b8-16340528168" Via:cache22.l2cm9[0,304-0,H],cache17.l2cm9[0,0],cache1.cn372[0,200-0,H],cache2.cn372[1,0] Age:70 X-Cache:HITTCP_MEM_HITdirn:-2:-2mlen:-1 X-Swift-SaveTime:Wed,09May201809:54:59GMT X-Swift-CacheTime:36 Timing-Allow-Origin:* EagleId:3c1cf2e515258597167937091e Set-Cookie:thw=cn;Path=/;Domain=.taobao.com;Expires=Thu,09-May-1909:55:16GMT; Strict-Transport-Security:max-age=31536000 200 https://www.taobao.com/
超时设置(timeout)
由于在实际的爬取过程中，部分网站可能访问过慢，影响性能，这时我们可设置超时访问.
示例：如果在指定时间内正常访问，即输出获取数据的长度，如果超出指定时间，则抛出异常.
foriinrange(0,10):
try:
data=urllib.request.urlopen("http://www.baidu.com",timeout=0.05).read()
print(len(data))
exceptExceptionase:
print("出现异常:"+str(e))
运行结果：
114980 114888 114809 114839 114824 114611 出现异常:出现异常: 出现异常: 115003
伪装
在爬取过程中，可能部分网站限制浏览器访问所以为了顺利达到我们的目的，我们对自己进行伪装.
这里我们介绍一下浏览器的伪装技术.
普通爬取：
fromurllibimportrequest
file=request.urlopen("http://www.baidu.com").read().decode()
通过浏览器伪装爬取数据：
方式一：
fromurllibimportrequest
url="http://www.baidu.com"
headers=("User-Agent","Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.139Safari/537.36")#这里模拟浏览器
opener=request.build_opener()
opener.addheaders=[headers]
data=opener.open(url).read()
print(data)
方式二：
fromurllibimportrequest
url="http://www.baidu.com"
headers=("User-Agent","Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.139Safari/537.36")#这里模拟浏览器
opener=request.build_opener()
opener.addheaders=[headers]
request.install_opener(opener)
data=request.urlopen(url).read().decode("utf-8")
print(data)
方式三：
fromurllibimportrequest
url="http://www.baidu.com"
headers={}"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/66.0.3359.139Safari/537.36"}#这里模拟浏览器,通过字典
req=request.Request(url=rul,headers=headers)
data=request.urlopen(req).read().decode("utf-8")
print(data)
异常处理
爬虫在运行过程中,可能会出现各种各样的问题，如果没有异常处理的话,爬出异常会直接崩溃停止运行，下次再运行的时候,爬虫又要重头开始，所以我们要开发的是一个具有顽强生命力的爬虫，必须要进行异常的处理.
常见异常示例：
301重定向 403禁止访问 404没有找到页面 500服务器内部出现问题 200成功
python中有两个异常处理的类：URLError与HttpError
HttpError是URLError子类 HttpError有异常状态码和异常原因 URLError只有异常原因,没有异常状态码 所以,在异常处理的时候,不能使用URLError来代替 如果想要代替,必须要进行判断,判断是否有状态码属性 会产生URLError的情况: 1.连接不上服务器 2.远程的url不存在 3.本地网络 4.HttpError(是子类,也会出发会产生URLError
格式如下：
fromurllibimporterror,request
try:#可能会出现异常的代码
data=request.urlopen("http://www.aliyu.com").read()
print(data)
excepterror.URLErrorase:#进行异常的处理
ifhasattr(e,"code"):#判断是否有状态码
print(e.code)#状态码
ifhasattr(e,"reason"):#判断是否有异常原因
print(e.reason)#异常原因
以上这篇python爬虫之urllib,伪装,超时设置,异常处理的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。