微客导航 » 文章资讯 » 将sqlite3中数据导入到mysql中的实战教程

将sqlite3中数据导入到mysql中的实战教程

2024-02-07 11:00:03 254

前言

sqlite3只小巧轻便，但是并不支持并发访问，当网站并发量较大时候，数据库请求队列边长，有可能导致队列末尾去数据库操作超时，从而操作失败。因此需要切换到支持并发访问的数据库。切换数据库需要将老的数据导出，再导入到新的数据库中，但是sqlite3和mysql的数据库并不完全兼容，需要做部分调整才能正常导入到mysql中。我最近工作中就遇到了这个问题。

最近一个项目中使用magenetico抓取磁力链接，由于它使用的是sqlite3,文件会越来越大，而且不支持分布式；所以需要将其改造成MySQL，在迁移之前需要将已经抓取的15G数据导入到MySQL，下面来一起看看详细的介绍吧

方法如下：

从sqlite3文件dump出sql

sqlite3database.sqlite3
sqlite3>.output/path/to/dump.sql
sqlite3>.dump
sqlite3>.exit

切分文件

文件比较大的时候，很有导入到一半的时候失败，这个时候需要从失败的行开始切分出一个新的sql文件来

awk'{if(NR>=6240863)print$0>"dump_part.sql"}'dump.sql

mysql参数修改

[mysqld]
max_allowed_packet=100M

sql兼容,符号替换

#1.删除不包含INSERTINTO的行
#2.替换表名wrap
#3.替换hex
sed'/INSERTINTO/!d;s/"table1"/`table1`/;s/"table2"/`table2`/;s/,X/,/'dump.sql

导入到MySQL

#加上force参数,防止部分有问题的sql阻止导入
mysql-uroot-p-fmagnet
引用
HowToUseTheSQLiteDumpCommand
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。

返回顶部
3162201930
czq8825@qq.com

将sqlite3中数据导入到mysql中的实战教程

热门推荐

随机推荐