Python爬虫包 BeautifulSoup 递归抓取实例详解
Python爬虫包BeautifulSoup 递归抓取实例详解
概要：
爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是一种递归的过程。它们首先需要获得网页的内容，然后分析页面内容并找到另一个URL，然后获得这个URL的页面内容，不断重复这一个过程。
让我们以维基百科为一个例子。
我们想要将维基百科中凯文·贝肯词条里所有指向别的词条的链接提取出来。
#-*-coding:utf-8-*-
#@Author:HaonanWu
#@Date:2016-12-2510:35:00
#@LastModifiedby:HaonanWu
#@LastModifiedtime:2016-12-2510:52:26
fromurllib2importurlopen
frombs4importBeautifulSoup
html=urlopen('http://en.wikipedia.org/wiki/Kevin_Bacon')
bsObj=BeautifulSoup(html,"html.parser")
forlinkinbsObj.findAll("a"):
if'href'inlink.attrs:
printlink.attrs['href']
上面这个代码能够将页面上的所有超链接都提取出来。
/wiki/Wikipedia:Protection_policy#semi #mw-head #p-search /wiki/Kevin_Bacon_(disambiguation) /wiki/File:Kevin_Bacon_SDCC_2014.jpg /wiki/San_Diego_Comic-Con /wiki/Philadelphia /wiki/Pennsylvania /wiki/Kyra_Sedgwick
首先，提取出来的URL可能会有一些重复的
其次，有一些URL是我们不需要的，如侧边栏、页眉、页脚、目录栏链接等等。
所以通过观察，我们可以发现所有指向词条页面的链接都有三个特点：
- 它们都在id是bodyContent的div标签里
- URL链接不包含冒号
- URL链接都是以/wiki/开头的相对路径（也会爬到完整的有http开头的绝对路径）
fromurllib2importurlopen
frombs4importBeautifulSoup
importdatetime
importrandom
importre
pages=set()
random.seed(datetime.datetime.now())
defgetLinks(articleUrl):
html=urlopen("http://en.wikipedia.org"+articleUrl)
bsObj=BeautifulSoup(html,"html.parser")
returnbsObj.find("div",{"id":"bodyContent"}).findAll("a",href=re.compile("^(/wiki/)((?!:).)*$"))
links=getLinks("/wiki/Kevin_Bacon")
whilelen(links)>0:
newArticle=links[random.randint(0,len(links)-1)].attrs["href"]
ifnewArticlenotinpages:
print(newArticle)
pages.add(newArticle)
links=getLinks(newArticle)
其中getLinks的参数是/wiki/<词条名称>，并通过和维基百科的绝对路径合并得到页面的URL。通过正则表达式捕获所有指向其他词条的URL，并返回给主函数。
主函数则通过调用递归getlinks并随机访问一条没有访问过的URL，直到没有了词条或者主动停止为止。
这份代码可以将整个维基百科都抓取下来
fromurllib.requestimporturlopen
frombs4importBeautifulSoup
importre
pages=set()
defgetLinks(pageUrl):
globalpages
html=urlopen("http://en.wikipedia.org"+pageUrl)
bsObj=BeautifulSoup(html,"html.parser")
try:
print(bsObj.h1.get_text())
print(bsObj.find(id="mw-content-text").findAll("p")[0])
print(bsObj.find(id="ca-edit").find("span").find("a").attrs['href'])
exceptAttributeError:
print("Thispageismissingsomething!Noworriesthough!")
forlinkinbsObj.findAll("a",href=re.compile("^(/wiki/)")):
if'href'inlink.attrs:
iflink.attrs['href']notinpages:
#Wehaveencounteredanewpage
newPage=link.attrs['href']
print("----------------\n"+newPage)
pages.add(newPage)
getLinks(newPage)
getLinks("")
一般来说Python的递归限制是1000次，所以需要人为地设置一个较大的递归计数器，或者用其他手段让代码在迭代1000次之后还能运行。
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！