Python使用Scrapy框架进行抓取

2024-04-15 20:56:03 343

示例

首先，您必须建立一个新的Scrapy项目。输入要存储代码并运行的目录：

scrapy startproject projectName

要刮擦，我们需要一只蜘蛛。蜘蛛定义了如何刮除某个站点。以下是蜘蛛的代码，该代码遵循指向StackOverflow上投票最高的问题的链接，并从每个页面中抓取一些数据（源）：

import scrapy class StackOverflowSpider(scrapy.Spider): name = 'stackoverflow' #每个蜘蛛都有一个唯一的名字 start_urls = ['http://stackoverflow.com/questions?sort=votes'] #解析从一组特定的URL开始 def parse(self, response): #对于此生成器产生的每个请求，其响应都发送到parse_question for href in response.css('.question-summary h3 a::attr(href)'): #使用CSS选择器来查找问题网址以进行一些抓取工作 full_url = response.urljoin(href.extract()) yield scrapy.Request(full_url, callback=self.parse_question) def parse_question(self, response): yield { 'title': response.css('h1 a::text').extract_first(), 'votes': response.css('.question .vote-count-post::text').extract_first(), 'body': response.css('.question .post-text').extract_first(), 'tags': response.css('.question .post-tag::text').extract(), 'link': response.url, }

将您的Spider类保存在projectName\spiders目录中。在这种情况下-projectName\spiders\stackoverflow_spider.py。

现在，您可以使用蜘蛛了。例如，尝试运行（在项目目录中）：

scrapy crawl stackoverflow

Python使用Scrapy框架进行抓取

示例

热门推荐

随机推荐