解决python中遇到的乱码问题

1. 解决中文乱码的一种可行方法

# -*- coding:utf-8 -*-
from __future__ import unicode_literals

import chardet


def smart_decoder(raw_content, default_encoding_list=("utf-8", "gb18030")):
    """
    将字符串解码成unicode
    :type default_encoding_list: list of str
    :rtype: unicode
    :type raw_content: str|unicode
    """
    if isinstance(raw_content, unicode):
        return raw_content

    encoding = chardet.detect(raw_content).get("encoding", "utf-8")

    try:
        return raw_content.decode(encoding)
    except UnicodeEncodeError as e:
        for encoding in default_encoding_list:
            try:
                return raw_content.decode(encoding)
            except UnicodeEncodeError as e:
                pass
        raise e


if __name__ == '__main__':
    import requests

    a = requests.get("https://www.baidu.com").content
    smart_decoder(a)

2. requests响应结果乱码

使用requests请求网址，获取响应response， 通过response.text得到的网页内容，有时候会出现乱码的情况。

原因：

　　分析源代码发现，调用respose.text 其实就是对 response.content执行解码操作。编码通过chardet判断。

　　乱码的关键是，chardet获取的编码可能不正确，但在执行response.content.decode时，程序会直接忽略编码异常，从而导致使用错误的编码解码。

解决思路：

　　人工解码，处理编码错误

程序demo

def parse_response(response):
    """
    手工对requests的响应内容解码
    :rtype: unicode
    """
    return smart_decoder(response.content)

源码见blog.