zoukankan      html  css  js  c++  java
  • Python 爬虫 解决escape问题

    爬取某个国外的网址,遇到的编码问题 ,在前段页面 返回的数据是    

    亞洲私人珍&#34255

    ;賣,令仝好分享他為此

    所傾注的心血與熱愛。

    爬虫源码是:

    url = 'http://www.bonhams.com/auctions/24026/lot/120/?category=list&length=100&page=1'
    
    try:
        result = requests.get(url=url).text
    except:
        result = requests.get(url=url).text
    if 'javascript">setTimeout' in result:
        result = requests.get(url=url).text

    如何处理?

      
    url = 'http://www.bonhams.com/auctions/24026/lot/120/?category=list&length=100&page=1'
    
    try:
        result = requests.get(url=url).text
    except:
        result = requests.get(url=url).text
    if 'javascript">setTimeout' in result:
        result = requests.get(url=url).text

    from HTMLParser import HTMLParser result_HTMLParser = HTMLParser().unescape(result) print result_HTMLParser

    打印原始网页代码

    发现编码格式正常

    html = '<abc>'
    用Python可以这样处理:
    
    import HTMLParser
    html_parser = HTMLParser.HTMLParser()
    txt = html_parser.unescape(html) #这样就得到了txt = '<abc>'
    如果还想转回去,可以这样:
    
    import cgi
    html = cgi.escape(txt) # 这样又回到了 html = '&lt;abc&gt'
  • 相关阅读:
    AVL树C++实现(end)
    B树/B+树
    树,森林,二叉树转换
    多路查找树
    变形版的九九乘法表
    原始版本的九九乘法表
    菱形变形-闪电
    菱形变形,对称+for循环
    菱形--for循环解决
    BZOJ 2037 区间DP
  • 原文地址:https://www.cnblogs.com/xuchunlin/p/8573303.html
Copyright © 2011-2022 走看看