Python3.4编程实现简单抓取爬虫功能示例
本文实例讲述了Python3.4编程实现简单抓取爬虫功能。分享给大家供大家参考,具体如下:
importurllib.request
importurllib.parse
importre
importurllib.request,urllib.parse,http.cookiejar
importtime
defgetHtml(url):
cj=http.cookiejar.CookieJar()
opener=urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cj))
opener.addheaders=[('User-Agent','Mozilla/5.0(WindowsNT6.1;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/41.0.2272.101Safari/537.36'),('Cookie','4564564564564564565646540')]
urllib.request.install_opener(opener)
page=urllib.request.urlopen(url)
html=page.read()
returnhtml
#print(html)
#html=getHtml("http://weibo.com/")
defgetimg(html):
html=html.decode('utf-8')
reg='"screen_name":"(.*?)"'
imgre=re.compile(reg)
src=re.findall(imgre,html)
returnsrc
#print("",getimg(html))
uid=['2808675432','3888405676','2628551531','2808587400']
forainlist(uid):
print(getimg(getHtml("http://weibo.com/"+a)))
time.sleep(1)
更多关于Python相关内容可查看本站专题:《PythonSocket编程技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。