zoukankan      html  css  js  c++  java
  • 作业12


     

    补交的作业疫情在家学习期间无电脑,之前在家时已向老师说明情况了

    作业1:https://www.cnblogs.com/hongxinma/p/12895161.html

    作业2:https://www.cnblogs.com/hongxinma/p/12895392.html

    作业3:https://www.cnblogs.com/hongxinma/p/12895719.html

    作业4:https://www.cnblogs.com/hongxinma/p/12900949.html

    作业5:https://www.cnblogs.com/hongxinma/p/12904246.html

    作业6:https://www.cnblogs.com/hongxinma/p/12908789.html

    作业7:https://www.cnblogs.com/hongxinma/p/12908830.html

    作业8:https://www.cnblogs.com/hongxinma/p/12908886.html

    作业9:https://www.cnblogs.com/hongxinma/p/12908900.html

    1. 读邮件数据集文件,提取邮件本身与标签。

    列表

    numpy数组

    先读取文件然后提取邮件信息成列表信息输出

    截图如下:

    代码如下:

    第1题:

    import csv
    sms = open(r'C:UsersAdministratorDesktopjiqixuexiSMSSpamCollection', 'r', encoding='utf-8')
    csv_reader = csv.reader(sms, delimiter=' ')
    for r in csv_reader:
    print(r)
    sms.close()

     

     

     

    2.邮件预处理

    1. 邮件分句
    2. 句子分词
    3. 大小写,标点符号,去掉过短的单词
    4. 词性还原:复数、时态、比较级
    5. 连接成字符串

    2.1 传统方法来实现

    2.2 nltk库的安装与使用

    pip install nltk

    import nltk

    nltk.download()     # sever地址改成 http://www.nltk.org/nltk_data/

    https://github.com/nltk/nltk_data下载gh-pages分支,里面的Packages就是我们要的资源。

    将Packages文件夹改名为nltk_data。

    网盘链接:https://pan.baidu.com/s/1iJGCrz4fW3uYpuquB5jbew    提取码:o5ea

    放在用户目录。

    ----------------------------------

    安装完成,通过下述命令可查看nltk版本:

    import nltk

    print nltk.__doc__

     答:截图如下:

    代码如下:

    第2题:

    import nltk

    print (nltk.__doc__)

     

    2.1 nltk库 分词

    nltk.sent_tokenize(text) #对文本按照句子进行分割

    nltk.word_tokenize(sent) #对句子进行分词

    2.2 punkt 停用词

    from nltk.corpus import stopwords

    stops=stopwords.words('english')

    *如果提示需要下载punkt

    nltk.download(‘punkt’)

    或 下载punkt.zip

    https://pan.baidu.com/s/1OwLB0O8fBWkdLx8VJ-9uNQ  密码:mema

    复制到对应的失败的目录C:UsersAdministratorAppDataRoaming ltk_data okenizers并解压。

    2.3 NLTK 词性标注

    nltk.pos_tag(tokens)

    2.4 Lemmatisation(词性还原)

    from nltk.stem import WordNetLemmatizer

    lemmatizer = WordNetLemmatizer()

    lemmatizer.lemmatize('leaves') #缺省名词

    lemmatizer.lemmatize('best',pos='a')

    lemmatizer.lemmatize('made',pos='v')

    一般先要分词、词性标注,再按词性做词性还原。

    2.5 编写预处理函数

    def preprocessing(text):

    sms_data.append(preprocessing(line[1])) #对每封邮件做预处理

    3. 训练集与测试集

    4. 词向量

    5. 模型

    答:截图如下:

    代码如下:

    第3题:
    import nltk
    from nltk.corpus import stopwords
    from nltk.stem import WordNetLemmatizer
    print(nltk.__doc__)
    # 预处理
    def processing(text):
    # 对文本按照句子进行分割 对句子进行分词
    tokens = [word for sent in nltk.sent_tokenize(text) for word in nltk.word_tokenize(sent)]
    # 去掉停用词
    stops = stopwords.words("english") # 创建stopwords对象
    tokens = [token for token in tokens if token not in stops]
    # 去掉短于3的词 且将所有大写转为小写
    tokens = [token.lower() for token in tokens if len(token) >= 3]
    # 词性标注
    nltk.pos_tag(tokens)
    # 词性还原
    lem = WordNetLemmatizer()
    tokens = [lem.lemmatize(token, pos='n') for token in tokens] # 词性还原:复数
    tokens = [lem.lemmatize(token, pos='a') for token in tokens] # 比较级
    tokens = [lem.lemmatize(token, pos='v') for token in tokens] # 时态
    return tokens
    import csv
    sms = open(r'C:UsersAdministratorDesktopjiqixuexiSMSSpamCollection', 'r', encoding='utf-8')
    sms_data = []#构建实际邮件数据
    sms_label = []#构建邮件类别
    csv_reader = csv.reader(sms, delimiter=' ')
    for line in csv_reader:
    sms_label.append(line[0])#获取邮件类别
    sms_data.append(processing(line[1]))#获取处理后邮件数据
    sms.close()#关闭读取流
    print(sms_label)
    print(sms_data)
  • 相关阅读:
    MYSQL架构和Innodb存储引擎
    MySQL基础
    ConcurrentHashMap
    线程池
    并发包(JUC)之阻塞队列
    并发包(JUC)之Condition、CountDownLatch
    并发包(JUC)之Lock和AQS
    volatile关键字——数据可见性问题
    对象锁——synchronized关键字
    获取ip
  • 原文地址:https://www.cnblogs.com/hongxinma/p/12894837.html
Copyright © 2011-2022 走看看