基于sqlalchemy对mysql实现增删改查操作
需求场景：
老大让我利用爬虫爬取的数据写到或更新到mysql数据库中，百度了两种方法
1是使用pymysql连接mysql,通过操作原生的sql语句进行增删改查数据；
2是使用sqlalchemy连接mysql,通过ORM模型建表并操作数据库，不需要写原生的sql语句，相对简单些；
以下就是本次使用sqlalchemy的经验之谈。
实现流程：连接数据库》通过模型类创建表》建立会话》执行创建表语句》通过会话进行增删改查
fromsqlalchemyimportexists,Column,Integer,String,ForeignKey,exists
fromsqlalchemy.ext.declarativeimportdeclarative_base
fromsqlalchemyimportcreate_engine
fromsqlalchemy.ormimportsessionmaker
#创建的数据库引擎
engine=create_engine("mysql+pymysql://user:pwd@ip/数据库名?charset=utf8")
#创建session类型
DBSession=sessionmaker(bind=engine)
#实例化官宣模型-Base就是ORM模型
Base=declarative_base()
#创建服务单表
classServiceOrder(Base):
__tablename__='serviceOrderTable'
id=Column(Integer,primary_key=True,autoincrement=True)
serviceOrderId=Column(String(32),nullable=False,index=True,comment='服务单ID')
serviceDesc=Column(String(268),comment='服务说明')
oneLevelName=Column(String(32),comment='C类别')
twoLevelName=Column(String(32),comment='T子类')
threeLevelName=Column(String(32),comment='I项目')
fourLevelName=Column(String(32),comment='S子项')
transferTimes=Column(String(32),comment='转派次数')
overDueStatus=Column(String(32),comment='过期状态')
serviceTimeLimit=Column(String(32),comment='服务时限')
serTimeLimitTypeName=Column(String(16),comment='时限类型')
#一对多:
#serviceWorkOrder=relationship("ServiceWorkOrder",backref="serviceorder")
#多对一:多个服务工单可以属于服务单
classServiceWorkOrder(Base):
__tablename__='serviceWorkOrderTable'
id=Column(Integer,primary_key=True,autoincrement=True)
serviceWorkOrderId=Column(String(32),nullable=False,index=True,comment='服务工单ID')
workOrderName=Column(String(268),comment='工单名称')
fromId=Column(String(32),comment='服务单ID')
createUserSectionName=Column(String(32),comment='创建人室')
createUserName=Column(String(32),comment='创建人')
handlerName=Column(String(32),comment='处理人')
statusName=Column(String(32),comment='工单状态')
createTime=Column(String(32),comment='创建时间')
#“多”的一方的book表是通过外键关联到user表的:
#serviceOrder_id=Column(Integer,ForeignKey('serviceOrderTable.id'))
#创建数据库如果数据库已存在则不会创建会根据库名直接连接已有的库
definit_db():
Base.metadata.create_all(engine)
defdrop_db():
Base.metadata.drop_all(engine)
definsert_update():
#all_needed_data_lists是需要插入数据库的数据格式[{key:value,...},{},{}...]
foriteminall_needed_data_lists:
ServiceOrderRow=ServiceOrder(serviceOrderId=item['serviceOrderId'],
serviceDesc=item['serviceDesc'],
oneLevelName=item['oneLevelName'],
twoLevelName=item['twoLevelName'],
threeLevelName=item['threeLevelName'],
fourLevelName=item['fourLevelName'],
transferTimes=item['transferTimes'],
overDueStatus=item['overDueStatus'],
serviceTimeLimit=item['serviceTimeLimit'],
serTimeLimitTypeName=item['serTimeLimitTypeName'],
)
try:
#利用exists判断目标对象是否存在，返回True或Faults
it_exists=session.query(
exists().where(ServiceOrder.serviceOrderId==item['serviceOrderId'])
).scalar()
exceptExceptionase:
self.log.error(e)
break
try:
#如果不存在，进行新增；存在的话就更新现存的数据
ifnotit_exists:
session.add(ServiceOrderRow)
else:
session.query(ServiceOrder).filter(ServiceOrder.serviceOrderId==item['serviceOrderId'])\
.update(item)
exceptExceptionase:
self.log.error(e)
break
try:
session.commit()
self.log.info('数据更新成功！')
except:
session.rollback()
self.log.info('数据更新失败！')
if__name__=="__main__":
#创建数据库如果数据库已存在则不会创建会根据库名直接连接已有的库
init_db()
#创建session对象，进行增删改查:
session=DBSession()
#利用session增改数据记得提交
insert_update()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持毛票票。