zoukankan      html  css  js  c++  java
  • Python beautifulsoup 中文乱码

    在爬百度"今日热点事件排行榜"的时候发现打印在控制台的中文全部显示乱码,开始怀疑控制台的原因导致了乱码,后来输出一个中文,发现显示正常。

    #-*- coding:utf-8 -*-
    import requests
    from bs4 import BeautifulSoup
    res = requests.get("http://top.baidu.com/buzz?b=341&fr=topbuzz_b1&qq-pf-to=pcqq.discussion")
    soup = BeautifulSoup(res.text,'lxml')
    print(soup.head.title.text)

    执行代码控制台返回一串乱码

    查看网页的源码发现网页的编码方式gbk,BeautifulSoup解析后得到的soup,打印出来是乱码,实际上其本身已经是正确的(从原始的GB2312编码)解析(为Unicode)后的了。之所以乱码,那是因为,打印soup时,调用的是__str__,其默认是UTF-8,所以输出到GBK的cmd中,才显示是乱码(参考一些文章

    <meta http-equiv="Content-Type" content="text/html; charset=gb2312">
    
    #-*- coding:utf-8 -*-
    import requests
    from bs4 import BeautifulSoup
    res = requests.get("http://top.baidu.com/buzz?b=341&fr=topbuzz_b1&qq-pf-to=pcqq.discussion")
    res.encoding = 'gb18030' 
    soup = BeautifulSoup(res.text,'lxml')
    print(soup.head.title.text)

      

  • 相关阅读:
    Linux源码Kconfig文件语法分析
    从0移植uboot (一) _配置分析
    ARM汇编与C混合编程
    ARM汇编程序结构
    ARMGNU伪指令
    Linux tcp黏包解决方案
    Linux 服务器模型小结
    Linux IPC udp/tcp/UNIX域 socket编程
    Linux IPC socket 广播,组播
    Linux I/O多路复用
  • 原文地址:https://www.cnblogs.com/mengyu/p/6759671.html
Copyright © 2011-2022 走看看