mysql 循环批量插入的实例代码详解
背景
前几天在MySql上做分页时，看到有博文说使用limit0,10方式分页会有丢数据问题，有人又说不会，于是想自己测试一下。测试时没有数据，便安装了一个MySql，建了张表，在建了个while循环批量插入10W条测试数据的时候，执行时间之长无法忍受，便查资料找批量插入优化方法，这里做个笔记。
数据结构
寻思着分页时标准列分主键列、索引列、普通列3种场景，所以，测试表需要包含这3种场景，建表语法如下：
droptableifexists`test`.`t_model`; Createtable`test`.`t_model`( `id`bigintNOTNULLAUTO_INCREMENTCOMMENT'自增主键', `uid`bigintCOMMENT'业务主键', `modelid`varchar(50)COMMENT'字符主键', `modelname`varchar(50)COMMENT'名称', `desc`varchar(50)COMMENT'描述', primarykey(`id`), UNIQUEindex`uid_unique`(`uid`), key`modelid_index`(`modelid`)USINGBTREE )ENGINE=InnoDBcharset=utf8collate=utf8_bin;
为了方便操作，插入操作使用存储过程通过while循环插入有序数据，未验证其他操作方式或循环方式的性能。
执行过程
1、使用最简单的方式直接循环单条插入1W条，语法如下：
dropprocedureifexistsmy_procedure;
delimiter//
createproceduremy_procedure()
begin
DECLAREnintDEFAULT1;
WHILEn<10001DO
insertintot_model(uid,modelid,modelname,`desc`)value(n,CONCAT('id20170831',n),CONCAT('name',n),'desc');
setn=n+1;
ENDWHILE;
end
//
delimiter;
插入1W条数据，执行时间大概在6m7s，按照这个速度，要插入1000W级数据，估计要跑几天。
2、于是，构思加个事务提交，是否能加快点性能呢？测试每1000条就commit一下，语法如下：
delimiter//
createprocedureu_head_and_low_pro()
begin
DECLAREnintDEFAULT17541;
WHILEn<10001DO
insertintot_model(uid,modelid,modelname,`desc`)value(n,CONCAT('id20170831',n),CONCAT('name',n),'desc');
setn=n+1;
ifn%1000=0
then
commit;
endif;
ENDWHILE;
end
//
delimiter;
执行时间6min16sec，与不加commit执行差别不大，看来，这种方式做批量插入，性能是很低的。
3、使用存储过程生成批量插入语句执行批量插入插入1W条，语法如下：
dropprocedureIFEXISTSu_head_and_low_pro;
delimiter$$
createprocedureu_head_and_low_pro()
begin
DECLAREnintDEFAULT1;
set@exesql='insertintot_model(uid,modelid,modelname,`desc`)values';
set@exedata='';
WHILEn<10001DO
set@exedata=concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
ifn%1000=0
then
set@exesql=concat(@exesql,@exedata,";");
preparestmtfrom@exesql;
executestmt;
DEALLOCATEpreparestmt;
commit;
set@exesql='insertintot_model(uid,modelid,modelname,`desc`)values';
set@exedata="";
else
set@exedata=concat(@exedata,',');
endif;
setn=n+1;
ENDWHILE;
end;$$
delimiter;
执行时间3.308s。
总结
批量插入时，使用insert的values批量方式插入，执行速度大大提升。
以上所述是小编给大家介绍的mysql循环批量插入的实例代码详解,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！