zoukankan      html  css  js  c++  java
  • Natural Language Processing with Python 1.1

    from nltk.book import *

    不知道这个过程的是否只是载入9个文本,在我的电脑上需要20秒时间才能完成。

    text1.concordance(word, width=79, lines=25)

    查找text1中word出现的上下文,每次出现打印一行,word在每行居中,默认每行宽度79个字符,最多打印25行。由于word在每行完全居中,开头和结尾的字符可能不完整。

    text1.similar(word, num=20)

    text1中与word出现情境相似的单词,默认最多打印20个。第一次调用时建立索引速度较慢,之后查询速度较快。如果word在text1中未出现,则打印“no matches”;若无与word出现情境相似的单词,则返回空。

    text1.common_contexts(word, num=20)

    word实际上是一个单词列表,查找列表中单词的共同上下文,默认最多打印20个。

    text1.dispersion_plot(word)

    画出word列表中每个单词在text中出现位置的离散图,每条竖线代表一个单词,每行代表整个文本。

    text1.generate(length=100)

    按照text的风格生成随机文本,默认为100个单词长。第一次执行时搜集词序列的统计信息运行较慢。每次输出内容都不同。标点符号与前面的单词分离。

    len(text3)

    text3的长度,以标识符为单位,标识符是我们希望放在一起处理的字符序列,包括单词和标点符号。

    sorted(set(text3))

    返回text3的有序项目类型,同一单词的不同拼写记为不同类型。

    from __future__ import division

    len(text3) / len(set(text3))

    text3中平均每个词使用的次数。

    text3.count(“smote”)

    text3中smote出现的次数

    100 * text4.count(‘a’) / len(text4)

    text4中a占文本的百分比

    100 *  text5.count(‘lol’) / len(text5)

    text5中lol所占的百分比

    def lexical_diversity(text):

        return len(text) / len(set(text))

    def percentage(count, total):

        return 100 * count / total

  • 相关阅读:
    C# 反射
    jquery 循环绑定click的问题
    socket 编程
    EF code first出现错误:列名 Discriminator 无效
    C# 两个类是否继承关系
    C# MD5,hmacSHA1
    文件分块上传
    读写CSV到DataTable
    ajax 提交数组 泛型集合(嵌套集合)
    Json中Date映射到model
  • 原文地址:https://www.cnblogs.com/cbkun/p/3408041.html
Copyright © 2011-2022 走看看