python测试mysql写入性能完整实例
本文主要研究的是python测试mysql写入性能，分享了一则完整代码，具体介绍如下。
测试环境：
（1）阿里云服务器centos6.5
（2）2G内存
（3）普通硬盘
（4）mysql5.1.73数据库存储引擎为InnoDB
（5）python2.7
（6）客户端模块mysql.connector
测试方法：
（1）普通写入
（2）批量写入
（3）事务加批量写入
普通写入：
defordinary_insert(count):
sql="insertintostu(name,age,class)values('testmysqlinsert',30,8)"
foriinrange(count):
cur.execute(sql)
批量写入，每次批量写入20条数据
defmany_insert(count):
sql="insertintostu(name,age,class)values(%s,%s,%s)"
loop=count/20
stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32))
#并不是元组里的数据越多越好
foriinrange(loop):
cur.executemany(sql,stus)
事务加批量写入，每次批量写入20条数据，每20个批量写入作为一次事务提交
deftransaction_insert(count):
sql="insertintostu(name,age,class)values(%s,%s,%s)"
insert_lst=[]
loop=count/20
stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32))
#并不是元组里的数据越多越好
foriinrange(loop):
insert_lst.append((sql,stus))
iflen(insert_lst)==20:
conn.start_transaction()
foritemininsert_lst:
cur.executemany(item[0],item[1])
conn.commit()
print'0k'
insert_lst=[]
iflen(insert_lst)>0:
conn.start_transaction()
foritemininsert_lst:
cur.executemany(item[0],item[1])
conn.commit()
实验结果如下
数量普通写入many写入事务加many写入 1万26.7s1.7s0.5s 10万266s19s5s 100万2553s165s49s
批量写入，相比于普通的多次写入，减少了网络传输次数，因而写入速度加快。
不论是单次写入还是批量写入，数据库内部都要开启一个事务以保证写入动作的完整，如果在应用层，我们自己开启事物，那么就可以避免每一次写入数据库自己都开启事务的开销，从而提升写入速度。
事务加批量写入速度大概是批量写入速度的3倍，是普通写入的50倍。
完整的测试代码如下：
#coding=utf-8
'''''
采用三种方法测试mysql.connector对mysql的写入性能,其他的例如mysqldb和pymysql客户端库的写入性能应该和mysql.connector一致
采用批量写入时,由于减少了网络传输的次数因而速度加快
开启事务,多次写入后再提交事务,其写入速度也会显著提升,这是由于单次的insert,数据库内部也会开启事务以保证一次写入的完整性
如果开启事务,在事务内执行多次写入操作,那么就避免了每一次写入都开启事务,因而也会节省时间
从测试效果来看,事务加批量写入的速度大概是批量写入的3倍,是普通写入的50倍
数量普通写入many写入事务加many写入
1万26.7s1.7s0.5s
10万266s19s5s
100万2553s165s49s
将autocommit设置为true,执行insert时会直接写入数据库,否则在execute插入命令时,默认开启事物,必须在最后commit,这样操作实际上减慢插入速度
此外还需要注意的是mysql的数据库存储引擎如果是MyISAM,那么是不支持事务的,InnoDB则支持事务
'''
importtime
importsys
importmysql.connector
reload(sys)
sys.setdefaultencoding('utf-8')
config={
'host':'127.0.0.1',
'port':3306,
'database':'testsql',
'user':'root',
'password':'sheng',
'charset':'utf8',
'use_unicode':True,
'get_warnings':True,
'autocommit':True
}
conn=mysql.connector.connect(**config)
cur=conn.cursor()
deftime_me(fn):
def_wrapper(*args,**kwargs):
start=time.time()
fn(*args,**kwargs)
seconds=time.time()-start
printu"{func}函数每{count}条数数据写入耗时{sec}秒".format(func=fn.func_name,count=args[0],sec=seconds)
return_wrapper
#普通写入
@time_me
defordinary_insert(count):
sql="insertintostu(name,age,class)values('testmysqlinsert',30,8)"
foriinrange(count):
cur.execute(sql)
#批量
@time_me
defmany_insert(count):
sql="insertintostu(name,age,class)values(%s,%s,%s)"
loop=count/20
stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32))
#并不是元组里的数据越多越好
foriinrange(loop):
cur.executemany(sql,stus)
#事务加批量
@time_me
deftransaction_insert(count):
sql="insertintostu(name,age,class)values(%s,%s,%s)"
insert_lst=[]
loop=count/20
stus=(('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,30),('testmysqlinsert',30,31),('testmysqlinsert',30,32),('testmysqlinsert',30,32)
,('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),('testmysqlinsert',30,32),
('testmysqlinsert',30,32),('testmysqlinsert',30,32))
#并不是元组里的数据越多越好
foriinrange(loop):
insert_lst.append((sql,stus))
iflen(insert_lst)==20:
conn.start_transaction()
foritemininsert_lst:
cur.executemany(item[0],item[1])
conn.commit()
print'0k'
insert_lst=[]
iflen(insert_lst)>0:
conn.start_transaction()
foritemininsert_lst:
cur.executemany(item[0],item[1])
conn.commit()
deftest_insert(count):
ordinary_insert(count)
many_insert(count)
transaction_insert(count)
if__name__=='__main__':
iflen(sys.argv)==2:
loop=int(sys.argv[1])
test_insert(loop)
else:
printu'参数错误'
总结
以上就是本文关于python测试mysql写入性能完整实例的全部内容，希望对大家有所帮助。感兴趣的朋友可以继续参阅本站其他相关专题，如有不足之处，欢迎留言指出。感谢朋友们对本站的支持！