Python3直接爬取图片URL并保存示例
有时候我们会需要从网络上爬取一些图片，来满足我们形形色色直至不可描述的需求。
一个典型的简单爬虫项目步骤包括两步：获取网页地址和提取保存数据。
这里是一个简单的从图片url收集图片的例子，可以成为一个小小的开始。
获取地址
这些图片的URL可能是连续变化的，如从001递增到099，这种情况可以在程序中将共同的前面部分截取，再在最后递增并字符串化后循环即可。
抑或是它们的URL都保存在某个文件中，这时可以读取到列表中：
defgetUrls(path):
urls=[]
withopen(path,'r')asf:
forlineinf:
urls.append(line.strip('\n'))
return(urls)
保存图片
在python3中，urllib提供了一系列用于操作URL的功能，其中的request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应。具体细节请看注释：
defrequestImg(url,name,num_retries=3):
img_src=url
#print(img_src)
header={
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)\
AppleWebKit/537.36(KHTML,likeGecko)\
Chrome/35.0.1916.114Safari/537.36',
'Cookie':'AspxAutoDetectCookieSupport=1'
}
#Request类可以使用给定的header访问URL
req=urllib.request.Request(url=img_src,headers=header)
try:
response=urllib.request.urlopen(req)#得到访问的网址
filename=name+'.jpg'
withopen(filename,"wb")asf:
content=response.read()#获得图片
f.write(content)#保存图片
response.close()
exceptHTTPErrorase:#HTTP响应异常处理
print(e.reason)
exceptURLErrorase:#一定要放到HTTPError之后，因为它包含了前者
print(e.reason)
exceptIncompleteReadorRemoteDisconnectedase:
ifnum_retries==0:#重连机制
return
else:
requestImg(url,name,num_retries-1)
其他
捕获异常
以下是批量爬取网页时可能需要捕获的异常，同时可以看出，urllib2库对应urllib库，而httplib库对应http.client：
重连机制
在函数参数中设置一个参数num_retries并对其进行初始化，即默认参数。在某些异常出现时可以将该参数递减，再让它递归调用自身，这就是基本的重连机制。
修饰器
有种设计模式叫修饰器模式，它可以在不修改目标函数代码的前提下，在目标函数执行前后增加一些额外功能。
defclock(func):#修饰器函数，对函数计时
defclocked(*args):
t0=timeit.default_timer()
result=func(*args)
elapsed=timeit.default_timer()-t0
name=func.__name__
arg_str=','.join(repr(arg)forarginargs)
print('[%0.8fs]%s(%s)'%(elapsed,name,arg_str))
#print('%s(%s)->%r[%0.8fs]'%(name,arg_str,result,elapsed))
returnresult
returnclocked
上面这段代码是修饰器函数的一个例子，用来对函数运行时间进行计时，在需要计时的函数上一行添加一点点代码即可：
@clock
完整代码
fromurllib.errorimportHTTPError,URLError
fromhttp.clientimportIncompleteRead,RemoteDisconnected
importtimeit,time
importurllib.request
importsocket
#timeout=20
#socket.setdefaulttimeout(timeout)#等待，防止被简单地反爬
defgetUrls(path):
urls=[]
withopen(path,'r')asf:
forlineinf:
urls.append(line.strip('\n'))
return(urls)
defclock(func):#修饰器函数，对函数计时
defclocked(*args):
t0=timeit.default_timer()
result=func(*args)
elapsed=timeit.default_timer()-t0
name=func.__name__
arg_str=','.join(repr(arg)forarginargs)
print('[%0.8fs]%s(%s)'%(elapsed,name,arg_str))
#print('%s(%s)->%r[%0.8fs]'%(name,arg_str,result,elapsed))
returnresult
returnclocked
@clock
defrequestImg(url,name,num_retries=3):
img_src=url
#print(img_src)
header={
'User-Agent':'Mozilla/5.0(WindowsNT6.1;WOW64)\
AppleWebKit/537.36(KHTML,likeGecko)\
Chrome/35.0.1916.114Safari/537.36',
'Cookie':'AspxAutoDetectCookieSupport=1'
}
req=urllib.request.Request(url=img_src,headers=header)
try:
response=urllib.request.urlopen(req)
filename=name+'.jpg'
withopen(filename,"wb")asf:
content=response.read()
f.write(content)
response.close()
exceptHTTPErrorase:
print(e.reason)
exceptURLErrorase:
print(e.reason)
exceptIncompleteReadorRemoteDisconnectedase:
ifnum_retries==0:
return
else:
requestImg(url,name,num_retries-1)
if__name__=='__main__':
urls=getUrls('./'URLS.txt')#换成你的URL文件路径
nLines=len(urls)
print(nLines)
forindex,valueinenumerate(urls):
requestImg(value,'./'+str(index).zfill(6))#zfill用来格式化数字：000001
以上这篇Python3直接爬取图片URL并保存示例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。