MySQL数据表合并去重的简单实现方法
场景：
爬取的数据生成数据表，结构与另一个主表相同，需要进行合并+去重
解决：（直接举例）
首先创建两个表pep，pep2，其中pep是主表
CREATETABLEIFNOTEXISTS`pep/pep2`( `id`INTUNSIGNEDAUTO_INCREMENT, `no`VARCHAR(100)NOTNULL, PRIMARYKEY(`id`) )ENGINE=InnoDBDEFAULTCHARSET=utf8;
然后向pep中插入两条数据，pep2中插入一条与pep中相同的一条数据
insertintopep(no)values('abc');
insertintopep(no)values('caa');
insertintopep2(no)values('abc');
将pep2的数据插入pep中
insertintopep(no)selectnofrompep2;
分组去重创建新的临时表tmp
createtabletmpselectid,nofrompepgroupbyno;
注意：创建完这个表的id字段类型已经不是主键自增
可能也会报错 ```Syntaxerrororaccessviolation:1055Expression#1ofSELECT listisnotinGROUPBYclauseandcontainsnonaggregated column'XXX.Y.ZZZZ'whichisnotfunctionallydependenton columnsinGROUPBYclause;thisisincompatiblewith sql_mode=only_full_group_by ``` 解决：执行以下两个命令： ``` mysql>setglobalsql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; mysql>setsessionsql_mode='STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION'; ```
删除pep表，并将tmp表重命名为pep
droptablepep; altertabletmprenametopep;
查看desc结构和select*frompep发现id的字段类型变了，这里需要改回原来的类型；
altertablepepaddprimarykey(id); altertablepepmodifyidintauto_increment;
还有可以使用join来做去重，更快的还可以添加一个字段（可以是几个字段+起来的的md5值），给这个字段创建一个唯一索引unique，以后插入数据的时候，自动回过滤掉重复的数据。
总结
以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，谢谢大家对毛票票的支持。