使用sort+uniq/awk/sed可以来完成。
方法一:利用sort以不重复的方式打印出文件所有的行并排序-u,表示unique。
sort -u file
方法二:利用sort先对文件按行排好序之后再交由uniq处理。sort -k 指定列,-t指定列分隔符。
sort -k 1 -t ':' file|uniq
方法三:利用sort+awk来完成。
sort file | awk '{if ($0!=line) print;line=$0}'
if ($0!=line) print;表示当前行是否等于上一行,不等于的话则打印,line开始是空的。line=$0表示当前行赋给line。
方法四:利用sort+sed来完成。
sort file | sed '$!N; /^\(.*\)\n\1$/!P;D'
sort file将文件排序,排好序之后,重复的行会相邻。sed的单引号内的编辑命令中,各条命令以分号隔开。