Shell脚本去重的几种方法实例
测试文件
[root@bogon~]#cat>test jason jason jason fffff jason
按Ctr+D保存
1、sort-u
[root@bogon~]#sort-utest fffff jason
2、uniq
[root@bogon~]#uniqtest jason fffff jason
由此可见，uniq需要先排序后才能去重
3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据
[root@bogon~]#sorttest|uniq fffff jason
去除所有重复的行（不保留重复的行），并计算行数
[root@bogon~]#sorttest|uniq-uc
1fffff
找出所有重复的行，并计算行数
[root@bogon~]#sorttest|uniq-dc
4jason
根据某个字段去重
将原有数据改为
[root@bogon~]#moretest jason1 jason2 jason1 fffff2 jason3 [root@bogon~]#sort-k1,1-utest fffff2 jason1
mansort查看sort的用法，-k参数是这么描述的：
-k,--key=POS1[,POS2] startakeyatPOS1(origin1),enditatPOS2(defaultendofline)
也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列