Python HTML解析模块HTMLParser用法分析【爬虫工具】
本文实例讲述了PythonHTML解析模块HTMLParser用法。分享给大家供大家参考，具体如下：
简介
先简略介绍一下。实际上，HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等，是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。这几个函数包括：
（1）handle_startendtag 处理开始标签和结束标签（即单标签）
（2）handle_starttag 处理开始标签，比如
（3）handle_endtag 处理结束标签，比如
（4）handle_charref 处理特殊字符串，就是以&#开头的，一般是内码表示的字符
（5）handle_entityref 处理一些特殊字符，以&开头的，比如
（6）handle_data 处理数据，就是
（7）handle_comment 处理注释
（8）handle_decl 处理
（9）handle_pi 处理形如的东西
实例
OK，废话少说，直接上手，来一个简单的爬虫实例——抓取贴吧图片。
fromhtml.parserimportHTMLParser
fromurllibimportrequest
classMyHTMLParser(HTMLParser):#创建HTML解析类
def__init__(self):
HTMLParser.__init__(self)
self.gifs_urls=[]#创建列表，保存gif
self.jpgs_urls=[]#创建列表，保存jpg
#重写HTMLParser中的内置方法
defhandle_starttag(self,tags,attrs):#处理起始标记
iftags=='img':#处理图片
forattrinattrs:
fortinattr:
if'gif'intand'https'int:
self.gifs_urls.append(t)#添加到gif列表
elif'jpg'intand'https'int:
self.jpgs_urls.append(t)#添加到jpg列表
else:
pass
#自定义的方法
defget_gifs(self):#返回gif列表
returnself.gifs_urls
defget_jpgs(self):#返回jpg列表
returnself.jpgs_urls
#自定义的方法，获取页面
defgetHTML(self,url):
req=request.Request(url,method='GET')
html=request.urlopen(req,timeout=30)
returnhtml.read()
#自定义的方法，批量下载图片
defdownImgs(self,img_urls,n=10,path='Image/'):
count=1
forurlinimg_urls:
request.urlretrieve(url=url,filename='{0}{1}{2}'.format(path,count,'.jpg'))
count=count+1
ifcount==n+1:
print('共下载%d张图片'%(n))
return
if__name__=='__main__':
Url='http://tieba.baidu.com/p/2256306796'
HtmlParser=MyHTMLParser()
Html=HtmlParser.getHTML(Url)
#print(Html)
HtmlParser.feed(str(Html))#开始解析HTML，自动调用HTMLParser中的内置方法
HtmlParser.downImgs(HtmlParser.get_jpgs())
更多关于Python相关内容可查看本站专题：《PythonSocket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。