Python数据持久化存储实现方法分析
本文实例讲述了Python数据持久化存储实现方法。分享给大家供大家参考，具体如下：
1、pymongo的使用
前三步为创建对象
- 第一步创建连接对象
conn=pymongo.MongoClient('IP地址'，27017)
- 第二步创建库
db=conn['库名']
- 第三步创建表
myset=db['集合名']
- 第四步把数据插入数据库
myset.inset.one({})
#!/usr/bin/python
#-*-coding:utf-8-*-
#@Time:2019/6/268:56
#@Author:#####
#@Site:
#@File:猫眼电影_mongo存储.py
#@Software:PyCharm
fromurllibimportrequest
importre
importtime
importpymongo
classMaoyanSpider(object):
def__init__(self):
self.headers={'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/63.0.3239.26Safari/537.36Core/1.63.5221.400QQBrowser/10.0.1125.400'}
#用来计数
self.page=1
#连接对象
self.coon=pymongo.MongoClient('locslhost',27017)
#创建库对象
self.db=self.coon['maoyaodb']
#集合对象
self.myset=self.db['top100']
defget_page(self,url):
req=request.Request(url,headers=self.headers)
res=request.urlopen(req)
html=res.read().decode('utf-8')
self.parse_page(html)
defparse_page(self,html):
p=re.compile('.*?title="(.*?)".*?class="star">(.*?).*?class="releasetime">(.*?)',re.S)
r_list=p.findall(html)
self.write_mongo(r_list)
defwrite_mongo(self,r_list):
forr_tinr_list:
d={
'电影名称：':r_t[0].strip(),
'电影主演：':r_t[1].strip(),
'上映时间：':r_t[2].strip()
}
#插入数据库
self.myset.inset.one(d)
defwork_on(self):
forpninrange(0,41,10):
url='https://maoyan.com/board/4?offset=%s'%str(pn)
self.get_page(url)
print('第%d页爬取成功'%self.page)
self.page+=1
time.sleep(4)
if__name__=='__main__':
begin=time.time()
spider=MaoyanSpider()
spider.work_on()
end=time.time()
print("执行时间%.2f"%(end-begin))#注不完美，仍然需修改
2、mysql的使用
Mysql-front可视化工具，建库建表添加字段
1、创建连接对象：db=pymysql.connet
2、创建游标对象：cursor=db.sursor
3、执行命令：cursor.execute()
4、提交到数据库执行
5、关闭：cursor.close
mysql-Front使用流程
1、创建数据库：
localhost--数据库--新建---数据库
数据库名改为maoyan（项目mysql库名）---字符集utf8---确定
2、创建表：
流程：选中maoyao数据库--选中数据----新建----出现添加菜单---名称改为top100---创建成功
3、往表格中添加字段：
流程：选中top100表单 ---数据库 ----新建 ----字段 ---出现添加界面----名称改为name ---默认varchar ----长度50 --确定
用同样的方法穿件字段star和time
ID一般设置为int长度视情况而定
更多关于Python相关内容感兴趣的读者可查看本站专题：《Python常见数据库操作技巧汇总》、《Python数学运算技巧总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》及《Python文件与目录操作技巧汇总》
希望本文所述对大家Python程序设计有所帮助。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。