python抽取指定url页面的title方法
今天简单使用了一下python的re模块和lxml模块，分别利用的它们提供的正则表达式和xpath来解析页面源码从中提取所需的title，xpath在完成这样的小任务上效率非常好，在这里之所以又使用了一下正则表达式是因为xpath在处理一些特殊的页面的时候会出现乱码的情况，当然这不是xpath的原因，而是页面本身编码，跟utf-8转码之间有冲突所致，这里看代码：
#!/usr/bin/python
#-*-coding:utf-8-*-
'''
功能：抽取指定url的页面内容中的title
'''
importre
importchardet
importurllib
fromlxmlimportetree
defutf8_transfer(strs):
'''
utf8编码转换
'''
try:
ifisinstance(strs,unicode):
strs=strs.encode('utf-8')
elifchardet.detect(strs)['encoding']=='GB2312':
strs=strs.decode("gb2312",'ignore').encode('utf-8')
elifchardet.detect(strs)['encoding']=='utf-8':
strs=strs.decode('utf-8','ignore').encode('utf-8')
exceptException,e:
print'utf8_transfererror',strs,e
returnstrs
defget_title_xpath(Html):
'''
用xpath抽取网页Title
'''
Html=utf8_transfer(Html)
Html_encoding=chardet.detect(Html)['encoding']
page=etree.HTML(Html,parser=etree.HTMLParser(encoding=Html_encoding))
title=page.xpath('/html/head/title/text()')
try:
title=title[0].strip()
exceptIndexError:
print'Nothing'
printtitle
defget_title(Html):
'''
用re抽取网页Title
'''
Html=utf8_transfer(Html)
compile_rule=ur'.* '
title_list=re.findall(compile_rule,Html)
iftitle_list==[]:
title=''
else:
title=title_list[0][7:-8]
printtitle
if__name__=='__main__':
url='http://www.baidu.com'
html=urllib.urlopen(url).read()
new_html=utf8_transfer(html)
try:
get_title_xpath(new_html)
get_title(new_html)
exceptException,e:
printe
下面是结果：
百度一下，你就知道
百度一下，你就知道
简单的小实践，继续学习，欢迎交流。
以上这篇python抽取指定url页面的title方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。