记一次用uniq的错误去重
sort + uniq 的过滤
sort 常用选项:
-u 意味着是唯一的(unique),输出的结果是去完重了的
-d 排序时,处理英文字母、数字及空格字符外,忽略其他的字符
-r 以相反的顺序来排序
-n:依照数值的大小排序
参考:Linux sort命令
uniq 常用选项:
-c或–count 在每列旁边显示该行重复出现的次数
-d或–repeated 仅显示重复出现的行列
-u或–unique 仅显示出一次的行列
参考:Linux uniq 命令
【栗子】找到两个文件中的差异项
- 源文件 去重 + 排序
sort -u inout.txt | uniq
- 文件合并
- 找到非重复项
sort merged_file | uniq -u
sort的-n、-r、-k、-t选项的使用
-t 选择分隔符
-k 选择字段【栗子】按照文件大小排序
du -sh * | sort -n -k [size_field]