基于scrapy的redis安装和配置方法
在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而Redis配合Scrapy是实现分布式爬取的基础。
Redis是一个高性能的Key-Value数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。
scrapy-redis的安装
pipinstallscrapy-redis easy_installscrapy-redis
下载
http://redis.io/download
版本推荐
stable3.0.2
运行redis
redis-serverredis.conf
清空缓存
redis-cliflushdb
scrapy配置redis
settings.py配置redis
SCHEDULER="scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST=True SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL=None#一般情况可以省去 REDIS_HOST='127.0.0.1'#也可以根据情况改成localhost REDIS_PORT=6379
在scrapy中使用scrapy-redis
spider继承RedisSpider
classtempSpider(RedisSpider) name="temp" redis_key=''temp:start_url"
以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。
热门推荐
10 毛笔哥哥结婚祝福语简短
11 向国庆送祝福语简短
12 建队节祝福语简短
13 朋友喜得外孙简短祝福语
14 小店营业的祝福语简短
15 餐饮生日祝福语简短独特
16 鲜花英语祝福语卡片简短
17 男朋友暴富祝福语简短
18 婶婶拜年祝福语大全简短