基于scrapy的redis安装和配置方法
在定向爬虫的制作过程中，使用分布式爬取技术可以显著提高爬取效率。而Redis配合Scrapy是实现分布式爬取的基础。
Redis是一个高性能的Key-Value数据库，它把数据保存在内存里。因此可以有非常快的数据读写速度。
scrapy-redis的安装
pipinstallscrapy-redis easy_installscrapy-redis
下载
http://redis.io/download
版本推荐
stable3.0.2
运行redis
redis-serverredis.conf
清空缓存
redis-cliflushdb
scrapy配置redis
settings.py配置redis
SCHEDULER="scrapy_redis.scheduler.Scheduler" SCHEDULER_PERSIST=True SCHEDULER_QUEUE_CLASS='scrapy_redis.queue.SpiderPriorityQueue' REDIS_URL=None#一般情况可以省去 REDIS_HOST='127.0.0.1'#也可以根据情况改成localhost REDIS_PORT=6379
在scrapy中使用scrapy-redis
spider继承RedisSpider
classtempSpider(RedisSpider) name="temp" redis_key=''temp:start_url"
以上这篇基于scrapy的redis安装和配置方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。