如何利用Golang解析读取Mysql备份文件
前言
前期误操作，导致数据库表删除，虽然数据量不多，但是通过binlog恢复比较麻烦，通过备份文件来恢复，备份文件达36个G打开都是问题；
使用备份文件恢复
大文件编辑器，glogg-latest-x86_64-setup通过该文件打开备份文件，虽然过程稍慢，但是能够打开，且正常读取编辑信息，要恢复的数据量不大时采取是没问题的，但是如果表几十万行，操作起来就比较麻烦了；
Golang读取备份文件
采用Golang读取，借助编程语言的优势来读取备份，经过测试读取指定备份文件（约36GB）表，大约需要12min，其实主要就是读取遍历备份文件的过程；
**
*@Author:ws
*@File:main
*@Date:2019/11/16001614:35
*@Remark:
*/
var(
_INSERT_INTO="INSERTINTO${table}VALUES"
_Dir="temp"
)
varTABLE_CAR="T_SCM_CAR"
funcReadSqlFile(){
t1:=time.Now()//getcurrenttime
f,err:=os.Open("E:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
deferf.Close()
iferr!=nil{
}
buf:=bufio.NewReader(f)
nfs:=getTxtFile(TABLE_CAR)
for{
s,err:=buf.ReadString('\n')
if(err!=nil){
logger.ERROR(err.Error())
break
}
iferr==nil{
ifs==""{
continue
}
sqlstr:=getSqlStr(s,TABLE_CAR)
if(sqlstr!=""){
nfs.Write([]byte(sqlstr))
}
}
}
elapsed:=time.Since(t1)
fmt.Println("Appelapsed:",elapsed)
}
/**
调整验证每一行数据的格式化，并与预设是否一致，如果一致则读取加载到
*/
funcgetSqlStr(sqlstr,tableNamestring)string{
varrealTableName=strings.Replace(_INSERT_INTO,"${table}",tableName,-1)
replaceEmptyStr:=strings.Replace(sqlstr,"","",-1)
tempS:=strings.ToUpper(strings.Replace(replaceEmptyStr,"`","",-1))
if(len(tempS)>=len(realTableName)){
tabName:=tempS[0:len(realTableName)]
if(tabName==realTableName){
returnsqlstr
}
}
return""
}
/**
打开txt文件
*/
funcgetTxtFile(fileNamestring)os.File{
txtFile:=createToFile(fmt.Sprintf("%v/%v.txt",_Dir,fileName))
nfs,err:=os.OpenFile(txtFile.Name(),os.O_APPEND|os.O_RDWR|os.O_CREATE,0644)
iferr!=nil{
logger.ERROR(fmt.Sprintf("打开文件失败:%v",err.Error()))
}
defernfs.Close()
nfs.Seek(0,io.SeekEnd)
return*nfs
}
funcreadLine(r*bufio.Reader)(string,error){
line,isprefix,err:=r.ReadLine()
forisprefix&&err==nil{
varbs[]byte
bs,isprefix,err=r.ReadLine()
line=append(line,bs...)
}
returnstring(line),err
}
funccreateToFile(fileNamestring)os.File{
_,err:=os.Stat(_Dir)
iferr==nil{
}
ifos.IsNotExist(err){
os.MkdirAll(_Dir,os.ModePerm)
}
newFile,err:=os.Create(fileName)
iferr!=nil{
logger.ERROR(fmt.Sprintf("文件创建失败:%v",err.Error()))
}
deferfunc(){
newFile.Close()
}()
newFile.WriteString("\xEF\xBB\xBF")//写入UTF-8BOM，防止中文乱码
return*newFile
}
funcmain(){
ReadSqlFile()
}
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。