基于scrapy的redis安装和配置方法
在定向爬虫的制作过程中,使用分布式爬取技术可以显著提高爬取效率。而Redis配合Scrapy是实现分布式爬取的基础。
Redis是一个高性能的Key-Value数据库,它把数据保存在内存里。因此可以有非常快的数据读写速度。
scrapy-redis的安装
pipinstallscrapy-redis easy_installscrapy-redis
下载
http://redis.io/download
版本推荐
stable3.0.2
运行redis
redis-serverredis.conf
清空缓存
redis-cliflushdb
scrapy配置redis
settings.py配置redis
SCHEDULER="scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST=True SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL=None#一般情况可以省去 REDIS_HOST='127.0.0.1'#也可以根据情况改成localhost REDIS_PORT=6379
在scrapy中使用scrapy-redis
spider继承RedisSpider
classtempSpider(RedisSpider) name="temp" redis_key=''temp:start_url"
以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。
热门推荐
1 训练狗狗憋尿
2 狗狗追踪训练
3 狗狗训练要多少钱
5 深圳狗狗训练
6 训练狗狗唤回
7 狗狗叫怎么训练
8 狗狗训练班
10 狗狗社会化训练
11 狗狗叫回训练
12 广州狗狗训练学校
13 狗狗训练躺下
14 狗狗随行训练
15 训练狗狗巡回
16 狗狗要怎么训练
17 狗狗喂食训练
18 训练狗狗躺下