python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析

2023-07-05 08:56:03 192

一、CrawlSpider类介绍

1.1引入

使用scrapy框架进行全站数据爬取可以基于Spider类，也可以使用接下来用到的CrawlSpider类。基于Spider类的全站数据爬取之前举过栗子，感兴趣的可以康康

scrapy基于CrawlSpider类的全站数据爬取

1.2介绍和使用

1.2.1介绍

CrawlSpider是Spider的一个子类，因此CrawlSpider除了继承Spider的特性和功能外，还有自己特有的功能，主要用到的是LinkExtractor()和rules=(Rule(LinkExtractor(allow=r'Items/'),callback='parse_item',follow=True),)

LinkExtractor()：链接提取器
LinkExtractor()接受response对象，并根据allow对应的正则表达式提取响应对象中的链接

link=LinkExtractor(
#Items只能是一个正则表达式,会提取当前页面中满足该"正则表达式"的url	
allow=r'Items/'
)

rules=(Rule(link,callback='parse_item',follow=True),)：规则解析器
按照指定规则从链接提取器中提取到的链接中解析网页数据
link：是一个LinkExtractor()对象，指定链接提取器
callback：回调函数，指定规则解析器(解析方法)解析数据
follow：是否将链接提取器继续作用到链接提取器提取出的链接网页中

importscrapy
#导入相关的包
fromscrapy.linkextractorsimportLinkExtractor
fromscrapy.spidersimportCrawlSpider,Rule

classTextSpider(CrawlSpider):
name='text'
allowed_domains=['www.xxx.com']
start_urls=['http://www.xxx.com/']

#链接提取器,从接受到的response对象中,根据item正则表达式提取页面中的链接
	link=LinkExtractor(allow=r'Items/')
	link2=LinkExtractor(allow=r'Items/')
#规则解析器,根据callback将链接提取器提取到的链接进行数据解析
#follow为true,则表示将链接提取器继续作用到链接提取器所提取到的链接页面中
#故:在我们提取多页数据时,若第一页对应的网页中包含了第2,3,4,5页的链接,
#当跳转到第5页时,第5页又包含了第6,7,8,9页的链接,
#令follow=True,就可以持续作用,从而提取到所有页面的链接
rules=(Rule(link,callback='parse_item',follow=True),
		Rule(link2,callback='parse_content',follow=False))
#链接提取器link使用parse_item解析数据
	defparse_item(self,response):
item={}

yielditem
#链接提取器link2使用parse_content解析数据
	defparse_content(self,response):
		item={}
		
		yielditem

1.2.2使用

创建爬虫文件：除了创建爬虫文件不同外，创建项目和运行爬虫使用的命令和基于Spider类使用的命令相同

scrapygenspidercrawl-tspiderNamewww.xxx.com

二、案例：古诗文网全站数据爬取

爬取古诗文网首页古诗的标题，以及每一首诗详情页古诗的标题和内容。
最后将从详情页提取到的古诗标题和内容进行持久化存储

2.1爬虫文件

importscrapy
fromscrapy.linkextractorsimportLinkExtractor

fromscrapy.spidersimportCrawlSpider,Rule
fromgushiPro.itemsimportGushiproItem,ContentItem

classGushiSpider(CrawlSpider):
name='gushi'
#allowed_domains=['www.xxx.com']
start_urls=['https://www.gushiwen.org/']

#链接提取器:只能使用正则表达式，提取当前页面的满足allow条件的链接
link=LinkExtractor(allow=r'/default_\d+\.aspx')

#链接提取器，提取所有标题对应的详情页url
content_link=LinkExtractor(allow=r'cn/shiwenv_\w+\.aspx')
rules=(
#规则解析器，需要解析所有的页面，所有follow=True
Rule(link,callback='parse_item',follow=True),

#不需要写follow，因为我们只需要解析详情页中的数据，而不是详情页中的url
Rule(content_link,callback='content_item'),
)

#解析当前页面的标题
defparse_item(self,response):
p_list=response.xpath('//div[@class="sons"]/div[1]/p[1]')

forpinp_list:
title=p.xpath('./a//text()').extract_first()
item=GushiproItem()
item['title']=title
yielditem

#解析详情页面的标题和内容
defcontent_item(self,response):
#//div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"]
#解析详情页面的内容
content=response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/div[@class="contson"]//text()').extract()
content="".join(content)
##解析详情页面的标题
title=response.xpath('//div[@id="sonsyuanwen"]/div[@class="cont"]/h1/text()').extract_first()
#print("title:"+title+"\ncontent:"+content)
item=ContentItem()
item["content"]=content
item["title"]=title
#将itme对象传给管道
yielditem

2.2item文件

importscrapy

#不同的item类是独立的，他们可以创建不同的item对象
classGushiproItem(scrapy.Item):
#definethefieldsforyouritemherelike:
#name=scrapy.Field()
title=scrapy.Field()

classContentItem(scrapy.Item):
title=scrapy.Field()
content=scrapy.Field()

2.3管道文件

fromitemadapterimportItemAdapter

classGushiproPipeline:
def__init__(self):
self.fp=None

defopen_spider(self,spider):
self.fp=open("gushi.txt",'w',encoding='utf-8')
print("开始爬虫")

defprocess_item(self,item,spider):
#从详情页获取标题和内容，所以需要判断爬虫文件中传来的item是什么类的item
#item.__class__.__name__判断属于什么类型的item
ifitem.__class__.__name__=="ContentItem":
content="《"+item['title']+"》",item['content']
content="".join(content)
print(content)
self.fp.write(content)
returnitem

defclose_spider(self,spider):
self.fp.close()
print("结束爬虫")

2.4配置文件

2.5输出结果

到此这篇关于python爬虫scrapy基于CrawlSpider类的全站数据爬取示例解析的文章就介绍到这了,更多相关python爬虫scrapy数据爬取内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。