微客导航 » 文章资讯 » Shell脚本去重的几种方法实例

Shell脚本去重的几种方法实例

2024-03-29 13:59:03 499

测试文件


[root@bogon~]#cat>test

jason

jason

jason

fffff

jason

按Ctr+D保存

1、sort-u


[root@bogon~]#sort-utest

fffff

jason

2、uniq


[root@bogon~]#uniqtest

jason

fffff

jason

由此可见，uniq需要先排序后才能去重

3、sort、管道和uniq结合运用
去除重复并保留一份重复的数据


[root@bogon~]#sorttest|uniq

fffff

jason

去除所有重复的行（不保留重复的行），并计算行数


[root@bogon~]#sorttest|uniq-uc

     1fffff

找出所有重复的行，并计算行数


[root@bogon~]#sorttest|uniq-dc

     4jason

根据某个字段去重

将原有数据改为


[root@bogon~]#moretest

jason1

jason2

jason1

fffff2

jason3

[root@bogon~]#sort-k1,1-utest

fffff2

jason1

mansort查看sort的用法，-k参数是这么描述的：


-k,--key=POS1[,POS2]

startakeyatPOS1(origin1),enditatPOS2(defaultendofline)

也就是说-k哪几个列进行排序，pos1是开始列，pos2是结束列