python解析html提取数据,并生成word文档实例解析
今天试着用ptyhon做了一个抓取网页内容,并生成word文档的功能,功能很简单,做一下记录以备以后用到。
生成word用到了第三方组件python-docx,所以先进行第三方组件的安装。由于windows下安装的python默认不带setuptools这个模块,所以要先安装setuptools这个模块。
1、在python官网上找到https://bootstrap.pypa.io/ez_setup.py,把代码保存到本地并执行:pythonez_setup.py
2、下载python-docx(https://pypi.python.org/pypi/python-docx/0.7.4),下载完成后解压并进入到XXX\python-docx-0.7.4安装python-docx:pythonsetup.pyinstall
这样python-docx就安装成功了,可以用它来操作word文档了,word文档的生成参考的这里https://python-docx.readthedocs.org/en/latest/index.html
html解析用到的是sgmllib里的SGMLParserurl内容的获取用到的是urllib、urllib2
#-*-coding:cp936-*- fromsgmllibimportSGMLParser importos importsys importurllib importurllib2 fromdocximportDocument fromdocx.sharedimportInches importtime ##获取要解析的url classGetUrl(SGMLParser): def__init__(self): SGMLParser.__init__(self) self.start=False self.urlArr=[] defstart_div(self,attr): forname,valueinattr: ifvalue=="ChairmanContBureau":#页面js中的固定值 self.start=True defend_div(self): self.start=False defstart_a(self,attr): ifself.start: forname,valueinattr: self.urlArr.append(value) defgetUrlArr(self): returnself.urlArr ##解析上面获取的url,获取有用数据 classgetManInfo(SGMLParser): def__init__(self): SGMLParser.__init__(self) self.start=False self.p=False self.dl=False self.manInfo=[] self.subInfo=[] defstart_div(self,attr): forname,valueinattr: ifvalue=="SpeakerInfo":#页面js中的固定值 self.start=True defend_div(self): self.start=False defstart_p(self,attr): ifself.dl: self.p=True defend_p(self): self.p=False defstart_img(self,attr): ifself.dl: forname,valueinattr: self.subInfo.append(value) defhandle_data(self,data): ifself.p: self.subInfo.append(data.decode('utf-8')) defstart_dl(self,attr): ifself.start: self.dl=True defend_dl(self): self.manInfo.append(self.subInfo) self.subInfo=[] self.dl=False defgetManInfo(self): returnself.manInfo urlSource="http://www.XXX" sourceData=urllib2.urlopen(urlSource).read() startTime=time.clock() ##geturls getUrl=GetUrl() getUrl.feed(sourceData) urlArr=getUrl.getUrlArr() getUrl.close() print"geturluse:"+str((time.clock()-startTime)) startTime=time.clock() ##getmaninfos manInfos=getManInfo() forurlinurlArr:#oneurloneperson data=urllib2.urlopen(url).read() manInfos.feed(data) infos=manInfos.getManInfo() manInfos.close() print"getmaninfosuse:"+str((time.clock()-startTime)) startTime=time.clock() #word saveFile=os.getcwd()+"\\xxx.docx" doc=Document() ##wordtitle doc.add_heading("HEAD".decode('gbk'),0) p=doc.add_paragraph("HEADCONTENT:".decode('gbk')) ##writeinfo forinfoArrininfos: i=0 forinfoininfoArr: ifi==0:##imgurl arr1=info.split('.') suffix=arr1[len(arr1)-1] arr2=info.split('/') preffix=arr2[len(arr2)-2] imgFile=os.getcwd()+"\\imgs\\"+preffix+"."+suffix ifnotos.path.exists(os.getcwd()+"\\imgs"): os.mkdir(os.getcwd()+"\\imgs") imgData=urllib2.urlopen(info).read() try: f=open(imgFile,'wb') f.write(imgData) f.close() doc.add_picture(imgFile,width=Inches(1.25)) os.remove(imgFile) exceptExceptionaserr: print(err) elifi==1: doc.add_heading(info+":",level=1) else: doc.add_paragraph(info,style='ListBullet') i=i+1 doc.save(saveFile) print"worduse:"+str((time.clock()-startTime))
以上就是本文关于python解析html提取数据,并生成word文档实例解析的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题,如有不足之处,欢迎留言指出。感谢朋友们对本站的支持!