python批量获取html内body内容的实例
现在有一批完整的关于介绍城市美食、景点等的html页面，需要将里面body的内容提取出来
方法：利用python插件beautifulSoup获取htmlbody标签的内容，并批量处理。
#-*-coding:utf8-*-
frombs4importBeautifulSoup
importos
importos.path
importsys
reload(sys)
sys.setdefaultencoding('utf8')
defprintPath(level,path):
globalallFileNum
#所有文件夹，第一个字段是此目录的级别
dirList=[]
#所有文件
fileList=[]
#返回一个列表，其中包含在目录条目的名称
files=os.listdir(path)
#先添加目录级别
dirList.append(str(level))
forfinfiles:
if(os.path.isdir(path+'/'+f)):
#排除隐藏文件夹，因为隐藏文件夹过多
if(f[0]=='.'):
pass
else:
#添加隐藏文件夹
dirList.append(f)
if(os.path.isfile(path+'/'+f)):
#添加文件
fileList.append(f)
return(dirList,fileList)
#将文件html文件抓取并写入指定txt文件
defgetAndInsert(rootdir,savepath,path):
globalfile_num
f_list=os.listdir(rootdir+'/'+path)
foriinf_list:
temp=os.path.splitext(i)[0]
fornuminrange(1,11):
if(i==str(num)+'.html'):
#printrootdir+'/'+path+'/'+i
objFile=open(rootdir+'/'+path+'/'+i)
soup=BeautifulSoup(objFile)
arr=[]
forchildinsoup.body:
arr.append(child)
ifos.path.exists(savepath+'/'+path):
pass
else:
os.makedirs(savepath+'/'+path)
f=open(savepath+'/'+path+'/'+temp+'.txt','w')
fork,vinenumerate(arr):
ifk!=1:
f.write(str(v))
f.close()
printpath+'/'+i+'isrunning'
file_num=file_num+1
rootdir='../zips2'
dirList,fileList=printPath(1,rootdir)
savepath="../testC"
file_num=0
forfnindirList:
if(fn=='1'):
pass
else:
getAndInsert(rootdir,savepath,fn)
printfn+'isending'
print'一共完成'+str(file_num)+'个城市的提取'
以上这篇python批量获取html内body内容的实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。