日期:2014-05-16  浏览次数:20601 次

linux去掉文件重复行

linux去掉文件重复行

在统计某些数据的时候,文件中往往存在一些重复的行,那如何去掉这些重复的行呢?

用强大的awk可以轻松实现文件内容行去重。

awk '!a[$0]++' 文件

例如文件 123.txt 的内容是

1

1

2

2

3

3

awk '!a[$0]++' 123.txt

将会输出

1

2

3