Linux幼儿园

  • 首页
  • 信息安全
  • 防火墙
  • 知识点
  • 活动目录
  • 硬件
  • 软件
  • linux干货
  • linux命令集
    • 备份压缩
    • 文件传输
    • 文件管理
    • 文档编辑
    • 磁盘管理
    • 系统管理
    • 网络通讯
    • 设备管理
    • 其他命令
  1. 首页
  2. linux命令集
  3. 文档编辑
  4. 正文

uniq命令 - 去除文件中的重复行

04/28/2019 235点热度 0人点赞 0条评论

uniq命令全称是“unique”,中文释义是“独特的,唯一的”。该命令的作用是用来去除文本文件中连续的重复行,中间不能夹杂其他文本行。去除了重复的,保留的都是唯一的,也就是独特的,唯一的了。

我们应当注意的是,它和sort的区别,sort只要有重复行,它就去除,而uniq重复行必须要连续,也可以用它忽略文件中的重复行。

语法格式:uniq [参数] [文件]

常用参数:

-c打印每行在文本中重复出现的次数
-d只显示有重复的纪录,每个重复纪录只出现一次
-u只显示没有重复的纪录

参考实例

删除连续文件中连续的重复行:

[root@linuxvip ~]# cat testfile 
test 30
test 30
test 30
Hello 95
Hello 95
Hello 95
Hello 95
Linux 85
Linux 85
[root@linuxvip ~]# uniq testfile
test 30
Hello 95
Linux 85

打印每行在文件中出现重复的次数:

[root@linuxvip ~]# uniq -c testfile 
3 test 30
4 Hello 95
2 Linux 85

只显示有重复的纪录,且每个纪录只出现一次:

[root@linuxvip ~]# uniq -d testfile 
test 30
Hello 95
Linux 85

只显示没有重复的纪录:

[root@linuxvip ~]# uniq -u testfile 
[root@linuxvip ~]#
本作品采用 知识共享署名-相同方式共享 4.0 国际许可协议 进行许可
标签: 暂无
最后更新:04/28/2019

JJJ

这个人很懒,什么都没留下

打赏 点赞
< 上一篇
下一篇 >

COPYRIGHT © 2021 linuxvip.com. ALL RIGHTS RESERVED.

Theme Kratos Made By Seaton Jiang

TrustAsia 安全签章