windows 下 python 让人头痛的编码

最近有这样一个需求，需要抓在百度搜出来的各种网站，用urllib2获取的html页面各种乱码。

于是我便有2种解决方法。

1，自己写decode 和encode ，从response head里获取charset，然后用charset的编码 decode，然后encode成操作系统文件系统的编码（windows是gbk，linux是utf8），中间发现个库chardet[https://pypi.python.org/pypi/chardet]，貌似python3 已经里自带了，2里没有，可以很方便的检验字符的编码，对于一些获取charset为null可以用此判断。

2，更简单的方法，将获取的html（未知编码）直接交给beautifulsoup prettfy一下。

html =urllib2.urlopen(url).read()
# use beautifulsoup 格式化
soup = BeautifulSoup(html)
# print 出想要的encoding
print(soup.prettify("gbk"))

然后顺便研究了下python的编码问题。

#话说python3的可以不用看下去了，python3和java差不多了，只有str和byte存在了。
#repr将print python内部处理时的编码，由此可见python2，内部编码并不是unicode
>>> unicode('我','utf8')
u'u6211'

>>> repr('我')
"'\xe6\x88\x91'"

# 同上
>>> repr(u'u6211'.encode('utf8'))
"'\xe6\x88\x91'"

>>> u'u6211'.encode('utf8')
#'xe6x88x91'
    
>>> print u'u6211'.encode('utf8')
#我

# 不管是gbk还是utf8编码的str他们的 unicode 相同
>>> unicode('我','utf8')
#u'u6211'
>>> unicode('我'.decode('utf8').encode('gbk'),'gbk')
#u'u6211'
    
#由此可见 一样的unicode 不同的encoding，其内置编码不同
>>>s1 = '联系'
>>>s2 = '联系'.decode('utf8').encode('gbk')
>>>repr(s1)
#'xe8x81x94xe7xb3xbb'
>>>repr(s2)
#'xc1xaaxcfxb5'