zoukankan      html  css  js  c++  java
  • Python中文GBK编码解决实例

    http://eatsalt.blog.163.com/blog/static/879402662009420508748/

    #coding:gbk
    l=['我'.decode('gbk'),'我'.decode('gbk'),'我'.decode('gbk'),'你'.decode('gbk')]
    print l.count('我'.decode('gbk'))
    结果:
    3
    若代码改为:
    #coding:gbk
    l=['我','我'.decode('gbk'),'我'.decode('gbk'),'你'.decode('gbk')]
    print l.count('我'.decode('gbk'))
    结果:
    2
    codingtest.py:3: UnicodeWarning: Unicode equal comparison failed to convert both arguments to Unicode - interpreting them as being unequal
      print l.count('我'.decode('gbk'))
    ========================================================
    # -*- coding:gbk -*-
    import sqlite3
    def initdb():
        con = sqlite3.connect(":memory:")
        cur = con.cursor()
        cur.execute("create table characters(c)")
        cur.executemany("insert into characters(c) values (?)", '我是'.decode('gbk'))
        cur.execute("select * from characters")
        for i in cur.fetchall():
            print i[0].encode('gbk')
    initdb()
    print '谁'.decode('gbk').encode('gbk')
    结果:



    先decode,再encode : '谁'.decode('gbk').encode('gbk')  才不会出乱码!
    ===========================================================================
    # -*- coding:gbk -*-
    import sqlite3 as db
    i=open("C:\1.txt").read()
    i=(i.decode('gbk'),)
    con=db.connect(":memory:")
    cur=con.cursor()
    cur.execute("create table BWORDS(words char(10))")
    cur.execute("insert into BWORDS(words) values(?)",i)
    cur.execute("select words from BWORDS")
    for d in cur.fetchall():
        print d[0].encode('gbk')
    结果:

    我是
    好哈
    IDE编码设置为GBK。从文本文件(为ANSI格式)读取数据为str类型,然后第一步进行解码gbk:decode('gbk') 成utf8,再包装成tuple:     i=(i.decode('gbk'),)   。最后,输出数据,还要编码为gbk:  d[0].encode('gbk')
    代码二:
    # -*- coding:gbk -*- 
    import sqlite3 as db
    i=open("C:\1.txt").readlines()
    con=db.connect(":memory:")
    cur=con.cursor()
    cur.execute("create table BWORDS(words char(10))")
    for r in i:
        cur.execute("insert into BWORDS(words) values(?)",(r.decode('gbk'),))
    cur.execute("select words from BWORDS")
    for d in cur.fetchall():
        print d[0].encode('gbk')
    cur.execute("select count(*) from BWORDS")
    for q in cur.fetchall():
        print q[0]
    结果:

    我是
    好哈
    3
    ====================================================================
    cur.execute("select int,chinese from FREQTABLE where freq>0")
    for t in cur.fetchall():
        print t[0].encode('gbk'),t[1]
      当数表中有多列时,并且某列含有中文,这时候需要将结果转换为gbk编码:t[0].encode('gbk')  ,整型则无需任何转换!
    ====================================================================
    以下文字选自:http://hi.baidu.com/daping_zhang/blog/item/09dda71ea9d7d21f4134173e.html

    x = u"中文你好"
    print s

        运行上述代码,Python会给出下面的错误提示

    SyntaxError: Non-ASCII character 'xd6' in file G:workspacechinese_problemsrc est.py on line 1, but no encoding declared; see http://www.python.org/peps/pep-0263.html for details

       说是遇到非ASCII字符了,并让我们参考pep-0263。PEP-0263(Python Enhancement Proposal)上面说得很清楚了,Python也意识到了国际化问题,并提出了解决方案。根据提案上面的要求,我们有如下代码

    # -*- coding:gb2312 -*- #必须在第一行或者第二行
    print "-------------code 1----------------"
    a = "中文a我爱你"
    print a
    print a.find("我")
    b = a.replace("爱", "喜欢")
    print b
    print "--------------code 2----------------"
    x = "中文a我爱你"
    y = unicode(x, "gb2312")
    print y.encode("gb2312")
    print y.find(u"我")
    z = y.replace(u"爱", u"喜欢")
    print z.encode("gb2312")
    print "---------------code 3----------------"
    print y

        程序运行的结果如下:

    -------------code 1----------------
    中文a我爱你
    5
    中文a我喜欢你
    --------------code 2----------------
    中文a我爱你
    3
    中文a我喜欢你
    ---------------code 3----------------
    Traceback (most recent call last):
      File "G:Downloadseclipseworkspacepsrchello.py", line 16, in <module>
        print y
    UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-1: ordinal not in range(128)

         我们可以看到,通过引入编码声明,我们可以正常地在使用中文了,而且在code 1和2中,控制台也能正确的把中文打印出来。但是,很明显,上面的代码也反映出了不少的问题:
        1、code 1 和 2在使用print时采用了不同的方式,1是直接print,而2在print之前先进行编码
        2、code 1 和 2中在同样的字符串查找同一个字符“我”,得出的结果不一样(分别是5和3)
        3、code 3 中直接打印unicode字符串 y时出现错误(这也是为什么code 2中要先进行编码的原因)

        为什么?为什么?我们可以先在脑海中模拟一下我们使用Python的流程:首先,我们先用编辑器编写好源代码,保存成文件。如果源代码中有编码声明而且用的编辑器支持该语法,那么该文件就以相应的编码方式保存在磁盘中。注意:编 码声明和源文件的编码不一定是一致的,你完全可以在编码声明中声明编码为UTF-8,但是用GB2312来保存源文件。当然,我们不可能自寻烦恼,故意写 错,而且好的IDE也能强制保证两者的一致性,但是,如果我们用记事本或者EditPlus等编辑器来编写代码的话,一不小心就会出现这种问题的。
        得到一个.py文件后,我们就可以运行它了,这是,我们就把代码交给Python解析器来完成解析工作。解析器读入文件时,先解析文件中的编码声明,我们 假设文件的编码为gb2312,那么先将文件中的内容由gb2312转换成Unicode,然后再把这些Unicode转换为UTF-8格式的字节串。完 成这一步骤后,解析器把这些UTF-8字节串分段,解析。如果遇到使用Unicode字符串,那么就使用相应的UTF-8字节串创建Unicode字符 串,如果程序中使用的是一般的字符串,那么解析器先将UTF-8字节串通过Unicode转换成相应编码(这里就是gb2312编码)的字节串,并用其创 建一般的字符串对象。也就是说,Unicode字符串跟一般字符串在内存中的存放格式是不一样的,前者使用UTF-8的格式,后者使用GB2312格式。
        好了,内存中的字符串存放格式我们知道了,下面我们要了解print的工作方式。print其实只是负责把内存中相应的字节串交给操作系统,让操作系统相应的程序(譬如cmd窗口)进行显示。这里有两种情况:
       1、若字符串是一般的字符串,那么print只需把内存中相应的字节串推送给操作系统。如例子中的code 1。
        2、如果字符串是Unicode字符串,那么print在推送之前先进行相应的encode:我们可以显示使用Unicode的encode方法使用合适 的编码方式来编码(例子中code 2),否则Python使用默认的编码方式进行编码,也就是ASCII(例子中的code 3)。当然ASCII是不可能正确编码中文的,因此Python报错。
        至此,上面的三个问题我们已经可以解析第一和第三个了。至于第二个问题,因为Python中有两种字符串,一般字符串和Unicode字符串,两者都有各 自的字符处理方法。对于前者,方法是以字节的方式进行的,而且在GB2312中,每个汉字占用两个字节,因此得到的结果是5;对于后者,也就是 Unicode字符串,所有字符都是统一看待的,因此得到3。
         虽然上面只提到了控制台程序的中文问题,但是文件读写以及网络传输中出现的中文问题在原理上都是类似的。Unicode的出现可以很大程度上解决软件的国 际化问题,同时Python为Unicode提供了极为良好的支持,因此,我建议大家在编写Python的程序时,都统一使用Unicode方式。保存文 件时使用UTF-8的编码方式。How to Use UTF-8 with Python有详细的描述,大家可以参考一下。

  • 相关阅读:
    学习笔记-JMeter 操作 Mysql
    学习笔记-JMeter 关联
    学习笔记-JMeter参数化
    研究 Table DOM对象的属性和方法
    tornado web.py Application类源码剖析
    根据 HTTP header 收集客户端相关信息
    【指针】基于双向链表的list
    【指针】基于单向链表的list(待改进)
    【递归】汉诺塔
    【递归】全排列
  • 原文地址:https://www.cnblogs.com/adodo1/p/4328250.html
Copyright © 2011-2022 走看看