zoukankan      html  css  js  c++  java
  • python自然语言处理——学习笔记:Chapter3纠错

    2017-12-06更新:很多代码执行结果与书中不一致,是因为python的版本不一致。如果发现有问题,可以参考英文版:

    http://www.nltk.org/book/

    第三章,P87有一段处理html的代码:

    >>>raw = nltk.clean_html(html)
    >>>tokens = nltk.word_tokenize(raw)
    >>>tokens

    可是我们执行会有如下错误:

    >>> raw = nltk.clean_html(html)
    Traceback (most recent call last):
      File "<stdin>", line 1, in <module>
      File "/Library/Python/2.7/site-packages/nltk/util.py", line 356, in clean_html
        raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")
    NotImplementedError: To remove HTML markup, use BeautifulSoup's get_text() function

    根据官方网站:介绍http://www.nltk.org/_modules/nltk/util.html
    def clean_html(html):
    raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")
    [docs]def clean_url(url):
    raise NotImplementedError ("To remove HTML markup, use BeautifulSoup's get_text() function")
    网站:http://stackoverflow.com/questions/10524387/beautifulsoup-get-text-does-not-strip-all-tags-and-javascript介绍:
    以后的版本,似乎不支持clean_html()和clean_url()这两个函数
    Support for clean_html and clean_url will be dropped for future versions of nltk. Please use BeautifulSoup for now...it's very unfortunate.
    有关处理HTML 的内容,可以使用http://www.crummy.com/software/BeautifulSoup/上的Beautiful Soup 软件包。

    安装:sudo pip install beautifulsoup4

    之后替换书上的代码:

    from __future__ import division
    import nltk, re, pprint
    from urllib import urlopen
    from bs4 import BeautifulSoup
    
    
    def read_html():
        url = "http://news.bbc.co.uk/2/hi/health/2284783.stm"
        html = urlopen(url).read()
        soup = BeautifulSoup(html)
        text = soup.get_text()
        print text
        tokens = nltk.word_tokenize(text)
        print tokens
    
    
    def main():
        read_html()
    
    
    if __name__ == '__main__':
        main()

    上述脚本文件可以独立运行,运行结果与书上一致

  • 相关阅读:
    Echarts使用笔记
    vue导出pdf
    mvn上传pom/jar至Nexus私服
    Linux下安装Redis
    国内首发,这款 Serverless 云原生一体化部署工具正式开源!
    使用云托管快速部署CMS内容管理系统
    云开发走进高校,腾讯云联合新工科联盟探索新生工程教育模式
    从0到3000万,TA们用云开发这样做
    基于 ThinkJS 的云开发体验
    使用小程序·云开发静态托管实现免鉴权h5跳转小程序
  • 原文地址:https://www.cnblogs.com/sonofelice/p/7890900.html
Copyright © 2011-2022 走看看