88秒插入1000万条数据到MySQL数据库表的操作方法
我用到的数据库为，mysql数据库5.7版本的
首先自己准备好数据库表
其实我在插入1000万条数据的时候遇到了一些问题，现在先来解决他们，一开始我插入100万条数据时候报错，控制台的信息如下：
com.mysql.jdbc.PacketTooBigException:Packetforqueryistoolarge(4232009>4194304).Youcanchangethisvalueontheserverbysettingthemax_allowed_packet'variable.
出现上面的错误是因为数据库表的max_allowed_packet这个配置没配置足够大，因为默认的为4M的，后来我调为100M就没报错了
setglobalmax_allowed_packet=100*1024*1024*
记住，设置好后重新登录数据库才能看的设置后的值
showVARIABLESlike'%max_allowed_packet%'
代码如下：
packageinsert;
importjava.sql.Connection;
importjava.sql.DriverManager;
importjava.sql.SQLException;
importjava.util.Date;
importcom.mysql.jdbc.PreparedStatement;
publicclassInsertTest{
publicstaticvoidmain(String[]args)throwsClassNotFoundException,SQLException{
finalStringurl="jdbc:mysql://127.0.0.1/teacher";
finalStringname="com.mysql.jdbc.Driver";
finalStringuser="root";
finalStringpassword="123456";
Connectionconn=null;
Class.forName(name);//指定连接类型
conn=DriverManager.getConnection(url,user,password);//获取连接
if(conn!=null){
System.out.println("获取连接成功");
insert(conn);
}else{
System.out.println("获取连接失败");
}
}
publicstaticvoidinsert(Connectionconn){
//开始时间
Longbegin=newDate().getTime();
//sql前缀
Stringprefix="INSERTINTOt_teacher(id,t_name,t_password,sex,description,pic_url,school_name,regist_date,remark)VALUES";
try{
//保存sql后缀
StringBuffersuffix=newStringBuffer();
//设置事务为非自动提交
conn.setAutoCommit(false);
//比起st，pst会更好些
PreparedStatementpst=(PreparedStatement)conn.prepareStatement("");//准备执行语句
//外层循环，总提交事务次数
for(inti=1;i<=100;i++){
suffix=newStringBuffer();
//第j次提交步长
for(intj=1;j<=100000;j++){
//构建SQL后缀
suffix.append("('"+uutil.UUIDUtil.getUUID()+"','"+i*j+"','123456'"+",'男'"+",'教师'"+",'www.bbk.com'"+",'XX大学'"+",'"+"2016-08-1214:43:26"+"','备注'"+"),");
}
//构建完整SQL
Stringsql=prefix+suffix.substring(0,suffix.length()-1);
//添加执行SQL
pst.addBatch(sql);
//执行操作
pst.executeBatch();
//提交事务
conn.commit();
//清空上一次添加的数据
suffix=newStringBuffer();
}
//头等连接
pst.close();
conn.close();
}catch(SQLExceptione){
e.printStackTrace();
}
//结束时间
Longend=newDate().getTime();
//耗时
System.out.println("1000万条数据插入花费时间:"+(end-begin)/1000+"s");
System.out.println("插入完成");
}
}
总结
以上所述是小编给大家介绍的88秒插入1000万条数据到MySQL数据库表的操作方法，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。