awk去掉重复列的模式如下：

!a[$0]++

其中$0表示整行，$1表示第一列，$2表示第二列

文件内容如下：

cat 00.txt 
a b
c b
a s

1、去重第一列重复的行

cat 00.txt |awk '!a[$1]++{print}'
a b
c b

2、去重以第一列和第二列重复的行

第一种：

[root@VM-20-12-centos txt]# cat 11.txt 
aa bb
aa bb
aa cc
cc bb
[root@VM-20-12-centos txt]# cat 11.txt |awk '!a[$1""$2]++{print}'
aa bb
aa cc
cc bb

第二种：

[root@VM-20-12-centos txt]# cat 11.txt |awk '!a[$0]++{print}'
aa bb
aa cc
cc bb

3、只显示重复行

[root@VM-20-12-centos txt]# cat 11.txt 
aa bb
aa bb
aa cc
cc bb
[root@VM-20-12-centos txt]# cat 11.txt |awk 'a[$0]++{print}'
aa bb

uniq可以针对完全相同的行去重

[root@VM-20-12-centos txt]# cat 11.txt 
aa bb
aa bb
aa cc
cc bb
[root@VM-20-12-centos txt]# cat 11.txt |uniq
aa bb
aa cc
cc bb