python数据爬下来保存的位置
昨天下班后忽然兴起想写一个爬虫抓抓网页上的东西。花了一个钟简单学习了python的基础语法,然后参照网上的例子自己写了个爬虫。
python数据爬下来保存在本地,一般是文件或数据库中,但是文件形式相比要更加简单,如果只是自己写爬虫玩,可以用文件形式来保存数据。
#coding=utf-8 importurllib.request importre importos ''' Urllib模块提供了读取web页面数据的接口,我们可以像读取本地文件一样读取www和ftp上的数据 urlopen方法用来打开一个url read方法用于读取Url上的数据 ''' defgetHtml(url): page=urllib.request.urlopen(url); html=page.read(); returnhtml; defgetImg(html): imglist=re.findall('imgsrc="(http.*?)"',html returnimglist html=getHtml("https://www.zhihu.com/question/34378366").decode("utf-8"); imagesUrl=getImg(html); ifos.path.exists("D:/imags")==False: os.mkdir("D:/imags"); count=0; forurlinimagesUrl: print(url) if(url.find('.')!=-1): name=url[url.find('.',len(url)-5):]; bytes=urllib.request.urlopen(url); f=open("D:/imags/"+str(count)+name,'wb'); f.write(bytes.read()); f.flush(); f.close(); count+=1
经测试,基本功能还是可以实现的。花的较多的时间就是正则匹配哪里,因为自己对正则表达式也不是非常熟悉。所以还是花了点时间。
注:上面的程序基于python3.5。python3和python2还是有些区别的。我刚开始看基础语法的时候就栽了一些坑里。
以上就是python数据爬下来保存在哪里的详细内容,感谢大家的学习和对毛票票的支持。
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。