Python3 关于UnicodeDecodeError/UnicodeEncodeError: ‘gbk’ codec can’t decode/encode bytes类似的文本编码问题

　　以下是小白的爬虫学习历程中遇到并解决的一些困难，希望写出来给后来人，如有疏漏恳请大牛指正，不胜感谢！

　　首先，我的代码是这样的

1 
2 
3 import requests
4 
5 url = 'http://www.acfun.tv/' 
6 html = requests.get(url)
7 
8 print(html.text)

 

python2中解决方法（题外话）

参考：http://www.cnblogs.com/zhaoyl/p/3770340.html

在前面加上以下代码即可

import sys 
reload(sys) # Python2.5 初始化后会删除 sys.setdefaultencoding 这个方法，我们需要重新载入 
sys.setdefaultencoding('utf-8')

一般就能解决了

而在Python3中：

如果在控制台中运行，就遇到了如下的UnicodeEncodeError:

　　

1.原因

　　#参考了http://www.tuicool.com/articles/nEjiEv

　　首先，代码中的html.text会自动将获取的内容解析为unicode  （与html.content不同。两者区别就是html.content的类型是bytes，而html.text类型是str，bytes通过解码（decode）可以得到str，str通过编码(encode)得到bytes）    html.text这种字符串如果要输出应当用utf-8来编码。而cmd中，（对于多数中国人所用的是中文的系统）默认字符编码是gbk

　　从而导致此种现象：

　　python要将utf-8编码的字符串，在gbk的cmd的中打印出来。于是出现了编码错误

2.解决方法

　  1. 运行CMD；

     2. 输入 CHCP，回车查看当前的编码；

     3. 输入CHCP 65001（序号65001代表utf-8），回车；

     4. 仅如此，还是不能支持UTF8的正常显示，你还要在窗体上右键，选择属性，来设置字体；

     5. 操作完上面几步后，即使你原来的字体里面没有显示Lucida Console这个字体，现在应该也能看到了。选择它。如果原来就有，可以选上它先试试，不行在执行上述步骤。

    （参考http://blog.useasp.net/archive/2012/04/24/how_to_use_UTF8_encoding_in_Windows_CMD.aspx）

如果还是不懂，请自行百度：在cmd上显示utf-8。

     

你也可以使用Pycharm这个IDE来运行查看结果，中文部分就能正常显示了。

　　

　　

写入文件时引发的UnicodeEncodeError:

参考：https://segmentfault.com/a/1190000004269037

　　在测试过程中多次出现在写入文件时报告错误“UnicodeEncodeError: 'ascii' codec can't encode character 'u56de' in position 0: ordinal not in range(128)”，这是由于我们在抓取网页的时候采用的是UTF-8编码，而存储时没有指定编码，在存储到文件的过程中就会报错。

　　解决办法为：
在读取文件时加入指定UTF-8编码的选项

f = open('content.txt','a',encoding='UTF-8')

另外需要注意的是使用requests获取到网页之后同样要指定编码

html = requests.get(url)
html = re.sub(r'charset=(/w*)', 'charset=UTF-8', html.text)