python异步存储数据详解
在Python中，数据存储方式分为同步存储和异步存储。同步写入速度比较慢，而爬虫速度比较快，有可能导致数据保存不完整，一部分数据没有入库。而异步可以将爬虫和写入数据库操作分开执行，互不影响，所以写入速度比较快，能够保证数据的完整性。
异步存储数据库大致看分为以下步骤：
1.在settings中配置Mysql链接需要的参数(主机地址、用户账号、密码、需要操作的表名、编码格式等)
2.自定义Pipeline，实现from_settings函数
3.fromtwisted.enterpriseimportadbapi引入连接池模块
4.frompymysqlimportcursors引入游标模块
5.在from_settings中，准备链接数据库参数，创建db_pool连接池，创建返回当前类的对象，传入db_pool
6.实现初始化函数,在初始化函数中,将db_pool赋值self的属性
7.实现process_item函数
7.1 query=self.db_pool.runInteraction(执行插入数据操作的函数对象，函数需要参数)，并接受执行返回结果
7.2 query.addErrback(错误回调函数，函数需要参数)，添加执行sql失败回调的函数，在回调函数中对错误数据进一步处理
8.实现插入数据操作的函数，准备sql，执行sql
9.实现错误回调函数，在回调函数中对错误数据进一步处理
下面，我们以天堂图片网为例，大致熟悉一下异步存储：
1.在存储之前，可以选择手动创建数据库（表名、字段名、字段类型等自己定义），也可以选择代码创建。
2.存储数据之前还得先拿到数据
importscrapy
from..itemsimportImgItem
classIvskySpider(scrapy.Spider):
name='ivsky'
allowed_domains=['ivsky.com']
start_urls=['http://www.ivsky.com/tupian/ziranfengguang/']
defparse(self,response):
imgs=response.xpath('//div[@class="il_img"]/a/img')
forimginimgs:
alt=img.xpath('@alt').extract_first('')
src=img.xpath('@src').extract_first('')
item=ImgItem()
item['alt']=alt
item['src']=src
yielditem
3.自定义item，并把数据传进去
importscrapy classIvskySpiderItem(scrapy.Item): #definethefieldsforyouritemherelike: #name=scrapy.Field() pass classImgItem(scrapy.Item): alt=scrapy.Field() src=scrapy.Field()
4.接下来就是settings中的配置，代码如下（robots协议记得改为False）：
MYSQL_HOST='127.0.0.1' MYSQL_USER='root' MYSQL_PW='123456' MYSQL_DB='ivskydb' MYSQL_CHARSET='utf8'
5.再然后自定义pipeline，并把该pipeline在settings中配置（设置优先级）：
fromtwisted.enterpriseimportadbapi
frompymysqlimportcursors
classTwistedMysqlPipeline(object):
#在调用TwistedMysqlPipeline时，第一个调用该函数
@classmethod
deffrom_settings(cls,settings):
#准备需要用到的链接mysql的参数
db_prams=dict(
host=settings['MYSQL_HOST'],
user=settings['MYSQL_USER'],
password=settings['MYSQL_PW'],
db=settings['MYSQL_DB'],
port=3306,
use_unicode=True,
charset=settings['MYSQL_CHARSET'],
#指定使用的游标类型
cursorclass=cursors.DictCursor
)
#创建连接池对象，需要传入两个参数
#1.使用操作mysql第三方包名
#2.连接数据库需要的参数
db_pool=adbapi.ConnectionPool('pymysql',**db_prams)
returncls(db_pool)
def__init__(self,db_pool):
#将连接池对象赋值self.db_pool属性
self.db_pool=db_pool
defprocess_item(self,item,spider):
#准备sql
#执行sql
#执行一个将item数据写入数据库的动作
#1.执行操作的函数
#2.执行函数需要的参数....
query=self.db_pool.runInteraction(self.insert_item,item)
#执行sql出现异常错误时，回调的函数
query.addErrback(self.handle_error,item,spider)
returnitem
#插入数据出现错误时，回调的函数
defhandle_error(self,failure,item,spider):
print(failure)
print(item)
#执行插入数据的函数
definsert_item(self,cursor,item):
#创建sql
sql="INSERTINTOivs(alt,src)VALUES(%s,%s)"
#执行sql
cursor.execute(sql,(item['alt'],item['src']))
6.pipeline在settings中的配置
ITEM_PIPELINES={
#'ivsky_spider.pipelines.MysqlPipeline':300,
'ivsky_spider.pipelines.TwistedMysqlPipeline':300,
}
代码到这里就结束了。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。