MySQL 去除重复数据实例详解
MySQL去除重复数据实例详解
有两个意义上的重复记录，一是完全重复的记录，也即所有字段均都重复，二是部分字段重复的记录。对于第一种重复，比较容易解决，只需在查询语句中使用distinct关键字去重，几乎所有数据库系统都支持distinct操作。发生这种重复的原因主要是表设计不周，通过给表增加主键或唯一索引列即可避免。
selectdistinct*fromt;
对于第二类重复问题，通常要求查询出重复记录中的任一条记录。假设表t有id,name,address三个字段，id是主键，有重复的字段为name,address，要求得到这两个字段唯一的结果集。
--Oracle、MySQL，使用相关子查询
select*fromtt1 wheret1.id= (selectmin(t2.id) fromtt2 wheret1.name=t2.nameandt1.address=t2.address);
--Hive只支持在FROM子句中使用子查询，子查询必须有名字，并且列必须唯一
selectt1.* fromtt1, (selectname,address,min(id)idfromtgroupbyname,address)t2 wheret1.id=t2.id;
--还可以使用hive的row_number()分析函数
selectt.id,t.name,t.address from(selectid,name,address, row_number()over(distributebyname,addresssortbyid)asrn fromt)t wheret.rn=1;
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！