zoukankan      html  css  js  c++  java
  • awk 数据处理小技巧

    进行数据分析或统计时,如果数据量较小,我们可以用awk快速处理,以下是一些小技巧
     
    一、时间戳转换
    日期转时间戳: date -d "20150315"  "+%s"
    时间戳转日期:date -d @1426565428 "+%Y-%m-%d"
     
    二、数据统计处理
    随机取100个数
    awk 'BEGIN{srand()} {print rand()" "$1}' 2.txt | sort -k1 | head -100

    取交集
    cat 1.txt 2.txt | sort | uniq -d

    取并集
    cat 1.txt 2.txt | sort | uniq
     
    除去交集
    cat 1.txt 2.txt | sort | uniq -u
     
    求重复出现次数最多的数字
    cat 1.txt 2.txt | sort | uniq -c | sort -r -k1 | head -100

    求平均数
    awk '{sum+=$1} END{print "average="sum/NR}' 1.txt

    三、文件处理
    拷贝文件某几行
    sed -n '1,10p' 1.txt > copy.txt
  • 相关阅读:
    一些想说的事
    化学离子平衡作业偷懒神器
    solution
    SGU 刷题记
    INT128
    # 字典树的指针写法 1.
    CSP-S2 游记
    Tarjan 【整理】
    HGOI 20191106
    20191101
  • 原文地址:https://www.cnblogs.com/-Lei/p/4344044.html
Copyright © 2011-2022 走看看