MySQL导入多个.sql文件高效方法
MySQL有多种方法导入多个.sql文件(里面是sql语句),常用的有两个命令:mysql和source。
但是这两个命令的导入效率差别很大,具体请看最后的比较。
(还有sqlimport和LOADDATAINFILE等导入方法,不过它们主要用于导入.csv或.xml文件数据,不是.sql文件)
假设我们有一个users.sql大文件,为方便我们将其拆分成:user1.sql、user2.sql、user3.sql三个独立的小sql文件。
1mysql命令导入
mysql命令导入多个sql文件方法:
$forSQLin*.sql;domysql-uroot-p"123456"mydb<$SQL;done
2source命令导入
source命令需要首先进入MySQL命令行:
$mysql-uroot-p"123456"
导入多个sql文件需要先创建一个额外的文件,名字随意,这里我们取:all.sql,内容:
sourceuser1.sql sourceuser2.sql sourceuser3.sql
注意,这里每行一条,必须以source命令开头。
然后用source命令执行该文件:
mysql>usemydb; mysql>source/home/gary/all.sql
3如何提高导入速度?
对于百M级以上文件,如果光这样导入,速度是极其缓慢的,
根据MySQL官方建议,我们有几个措施可以极大提高导入的速度,如下:
- 对于MyISAM,调整系统参数:bulk_insert_buffer_size(至少单个文件大小的2倍以上)
- 对于InnoDB,调整系统参数:innodb_log_buffer_size(至少单个文件大小的2倍以上,导入完成后可以改回默认的8M,注意不是innodb_buffer_pool_size。)
- 除主键外,删除其他索引,导入完成后重建索引。
- 关闭自动提交:autocommit=0。(请勿用setglobalautocommit=1;命令来关闭,否则整个MySQL系统都会停止自动commit,innodblogbuffer很快就会爆满,5和6项也请仅在会话中有效,正确做法请往下看)
- 关闭唯一索引检查:unique_checks=0。(关闭了这一项会影响onduplicatekeyupdate的效果)
- 关闭外键检查:foreign_key_checks=0。
- insert值写在一条语句内,如:INSERTINTOyourtableVALUES(1,2),(5,5),...;
- 有自增列的,设置:innodb_autoinc_lock_mode的值为2,
其中,第1-2、8条在修改my.cnf文件,然后重启MySQL:
[mysqld] bulk_insert_buffer_size=2G; innodb_log_buffer_size=2G; innodb_autoinc_lock_mode=2;
第3条用到的命令:
#删除索引 DROPINDEXindex_nameONtalbe_name ALTERTABLEtable_nameDROPINDEXindex_name ALTERTABLEtable_nameDROPPRIMARYKEY #添加索引 ALTERTABLEtable_nameADDINDEXindex_name(column_list) ALTERTABLEtable_nameADDUNIQUE(column_list) ALTERTABLEtable_nameADDPRIMARYKEY(column_list)
第4-6条写在.sql中,批量bash脚本如下:
forSQLin*.sql; do echo$SQL; sed-i'1i\SETautocommit=0;\nSETunique_checks=0;\nSETforeign_key_checks=0;'$SQL sed-i'$a\COMMIT;\nSETautocommit=1;\nSETunique_checks=1;\nSETforeign_key_checks=1;'$SQL done
按照以上几个步骤调整后,插入速度必会有大幅度的提高。
4mysql和source效率比较
在sql文件较小的情况下,source速度比mysql高,
在实际测试导入时,5个合计25M的sql文件,mysql命令的速度比source要快2秒(我自己的测试,不代表普遍的结果),
可以粗略得出,在导入大的sql文件时,建议使用mysql命令。
参考资料:
- HowcanIimportmultiple.sqlfilesintoMySQL?
- 8.5.5 BulkDataLoadingforInnoDBTables
- 8.2.4.1OptimizingINSERTStatements
- Linuxshell获取时间和时间间隔(ms级别)