zoukankan      html  css  js  c++  java
  • 【shell脚本实例】shell脚本统计单词频率、出现次数最多的n个单词

    1. 统计的对象words.txt,每个单词占一行(从简考虑了~)

    zjd@ubuntu:~/test$ cat word.txt 
    used
    this
    count
    mysql
    count
    this
    used
    mysql
    linux
    this
    redis
    apple
    android
    redis
    apple
     

     2. 统计每个单词的频率

    方法1:

    zjd@ubuntu:~/test$ cat word.txt |awk '{a[$0]++}END{for(i in a) print i"="a[i]}'
    linux=1
    used=2
    apple=2
    mysql=2
    count=2
    android=1
    redis=2
    this=3
    

    方法2(与方法1没有本质区别~~,{}大括号也可以表示循环)

    zjd@ubuntu:~/test$ cat word.txt |awk '{for(i=0;i<NF;i++) a[$0]++}END{for(i in a) print i"="a[i]}'
    linux=1
    used=2
    apple=2
    mysql=2
    count=2
    android=1
    redis=2
    this=3
    

    3. 统计出现频率最多的三个单词

    方法1:

    zjd@ubuntu:~/test$ cat word.txt|awk '{a[$0]++}END{for(i in a) print i" "a[i]}'|sort -k2r|head -3
    this 3
    apple 2
    count 2
    

     方法2:

    zjd@ubuntu:~/test$ cat word.txt|sort |uniq -c|sort -k1r|head -3
          3 this
          2 used
          2 redis
    
    知识点:
    sort 排序 -r 倒序 -k1 对第一个字段排序 
    uniq 相同的单词放在一起 -c count 合并相同的单词,显示次数
    head -3 显示前三行
    
    博主原创,转载请标明出处!
    联系方式: 微信:corolla_zhaojd
    Email: zhaojiandongzju@gmail.com

  • 相关阅读:
    setuptools使用
    YOLO解读
    Linux下配置Python的独立虚拟环境
    交叉熵(Cross Entropy)
    OpenCV-C++ Canny算法介绍
    OpenCV-C++ Laplance算子
    【模型部署】TF Serving 的使用
    OpenCV-C++ Sobel算子使用
    OpenCV-C++ 图像卷积计算的边缘问题
    OpenCV-C++ 自定义线性滤波
  • 原文地址:https://www.cnblogs.com/oldtrafford/p/3723277.html
Copyright © 2011-2022 走看看