zoukankan      html  css  js  c++  java
  • uniq过滤工具

    一、简介(repeat or omit repeated lines)

    检查及删除文本文件中重复出现的行(重复行的定义:完全匹配的连续行,即数据事先要经过sort处理)。

    二、格式

    uniq [OPTION]... [INPUT [OUTPUT]]

    三、常用选项

    -d               #把重复行写道 OUTPUT 中,不管连续出现多少次,仅写一次
    -c #每行前显示在输入文件中出现的次数
    -u #仅显示出现一次的行
    -s2 #忽略比较前两个字符
    -f2 #忽略第二个栏位
    -w2 #至多比较2个字符


    四、实例

    测试文件:

    cat filename
    Vine street
    Vhin street
    China
    New York
    New York
    New York
    add York
    ass York
    China
    China
    ccina
    china

    1.统计重复的行

    uniq -d -c addresses
          3 New York
    2 China

    2.忽略第一个栏位

    uniq -f1 -c addresses 
          2 Vine street
    1 China
    5 New York
    4 China

    3.至多比较一个字符

    uniq -w1 -c addresses
          2 Vine street
    1 China
    3 New York
    2 add York
    2 China
    2 ccina
    Stay hungry Stay foolish
  • 相关阅读:
    DB2去重的几种方法
    split命令:文件切割
    DB2中横表纵表互换
    做一个思想的码农
    access应用分享
    回顾2015年
    笑看互联网金融
    Razor语法
    数据库操作(二)
    SQL Server数据库简介(一)
  • 原文地址:https://www.cnblogs.com/xiangzi888/p/2429288.html
Copyright © 2011-2022 走看看