zoukankan      html  css  js  c++  java
  • 编码与字符集

    http://tool.chinaz.com/Tools/Base64.aspx

     ANSI是什么编码?

    http://www.cnblogs.com/malecrab/p/5300486.html

    UTF8最好不要带BOM,附许多经典评论

    http://www.cnblogs.com/findumars/p/3620078.html

    #####################################

    质检总局  http://www.aqsiq.gov.cn/

    部委管理的国家标准委员会  http://www.sac.gov.cn/

    工标网  http://www.csres.com/  查标准上工标网

    GBK 汉字内码扩展规范编码表(二)  http://blog.csdn.net/qiaqia609/article/details/8069655

    全国信息技术标准化技术委员会

    汉字内码扩展规范(GBK)

    ChineseInternal Code Specification

    1.0 版

    (按分类顺序排列)

    ● GBK/1:GB2312非汉字符号

    http://www.csres.com/

    http://www.mytju.com/classcode/tools/encode_utf8.asp  字符编码查询

    http://blog.chinaunix.net/uid-25544300-id-3281847.html  汉字字符编码对照表

    ####################################

    oracle中查找汉字编码,用下面的函数

    select dump('我',1016) from dual;

    select dump(to_multi_byte('1'),1016) from dual;

    然后再对照字典中的表示,以便验证

    http://www.cnitblog.com/ffan/archive/2008/02/16/9510.html

    GBK是采用单双字节变长编码,英文使用单字节编码,完全兼容ASCII字符编码,中文部分采用双字节编码。

    GBK编码,是在GB2312-80标准基础上的内码扩展规范,使用了双字节编码方案,其编码范围从8140至FEFE(剔除xx7F),共23940个码位,共收录了21003个汉字,完全兼容GB2312-80标准,支持国际标准ISO/IEC10646-1和国家标准GB13000-1中的全部中日韩汉字,并包含了BIG5编码中的所有汉字。GBK编码方案于1995年10月制定, 1995年12月正式发布,目前中文版的WIN95、WIN98、WINDOWS NT以及WINDOWS 2000、WINDOWS XP、WIN 7等都支持GBK编码方案。

    字汇
    GBK 规范收录了 ISO 10646.1 中的全部 CJK 汉字和符号,并有所补充。具体包括:
    1. GB 2312 中的全部汉字、非汉字符号。
    2. GB 13000.1 中的其他 CJK 汉字。以上合计 20902 个 GB 化汉字。
    3. 《简化字总表》中未收入 GB 13000.1 的 52 个汉字。
    4. 《康熙字典》及《辞海》中未收入 GB 13000.1 的 28 个部首及重要构件。
    5. 13 个汉字结构符。
    6. BIG-5 中未被 GB 2312 收入、但存在于 GB 13000.1 中的 139 个图形符号。
    7. GB 12345 增补的 6 个拼音符号。
    8. 汉字“○”。
    9. GB 12345 增补的 19 个竖排标点符号(GB 12345 较 GB 2312 增补竖排标点符号 29 个,其中 10 个未被 GB 13000.1 收入,故 GBK 亦不收)。
    10. 从 GB 13000.1 的 CJK 兼容区挑选出的 21 个汉字。
    11. GB 13000.1 收入的 31 个 IBM OS/2 专用符号。
    12.未录入《新华字典》上的一些字,如“韡”的简体。
    分配及顺序
    GBK 亦采用双字节表示,总体编码范围为 8140-FEFE,首字节在 81-FE 之间,尾字节在 40-FE 之间,剔除 xx7F 一条线。总计 23940 个码位,共收入 21886 个汉字和图形符号,其中汉字(包括部首和构件)21003 个,图形符号 883 个。
    全部编码分为三大部分:
    1. 汉字区。包括:
    a. GB 2312 汉字区。即 GBK/2: B0A1-F7FE。收录 GB 2312 汉字 6763 个,按原顺序排列。
    b. GB 13000.1 扩充汉字区。包括:
    (1) GBK/3: 8140-A0FE。收录 GB 13000.1 中的 CJK 汉字 6080 个。
    (2) GBK/4: AA40-FEA0。收录 CJK 汉字和增补的汉字 8160 个。CJK 汉字在前,按 UCS 代码大小排列;增补的汉字(包括部首和构件)在后,按《康熙字典》的页码/字位排列。
    2. 图形符号区。包括:
    a. GB 2312 非汉字符号区。即 GBK/1: A1A1-A9FE。其中除 GB 2312 的符号外,还有 10 个小写罗马数字和 GB 12345 增补的符号。计符号 717 个。
    b. GB 13000.1 扩充非汉字区。即 GBK/5: A840-A9A0。BIG-5 非汉字符号、结构符和“○”排列在此区。计符号 166 个。
    3. 用户自定义区:分为(1)(2)(3)三个小区。
    (1) AAA1-AFFE,码位 564 个。
    (2) F8A1-FEFE,码位 658 个。
    (3) A140-A7A0,码位 672 个。
    第(3)区尽管对用户开放,但限制使用,因为不排除未来在此区域增补新字符的可能性。

    ####################################

    编码与字符集

    二进制,8进制,16进制,64进制

    ascii码

    ASCII码表_全_完整版 

    BCD码

    计算机使用二进制数进行运算,但通常采用8进制和十六进制的形式读写,由于日常生活中,人们最熟悉的数制是十进制,因此专门规定了一种二进制的十进制码,称为BCD码,它是一种以二进制表示的十进制数码。

    BCD码与十进制数的转换关系很直观,相互转换也很简单,将十进制数
    75.4转换为BCD码:
    7->0111,5->0101,4->0100所以拼成8421BCD码的结果是:(0111 0101.0100)BCD;若将BCD码1000 0101.0101转换为十进制数:1000->8,0101->5,0101->5所以结果是:(85.5)D。

    例如:00011000,当把它视为二进制数时,其值为24;但作为2位BCD码时, 其值为18。
    又例如00011100,如将其视为二进制数,其值为28,但不能当成BCD码,因为在8421BCD码中,它是个非法编码 。因为没有1100这个码,因为有16种组合,只选取了前10种

    计算机中的BCD码,经常使用的有两种格式,即分离BCD码,组合BCD码。
    所谓分离BCD码,即用一个字节的低四位编码表示十进制数的一位,例如数82的存放格式为:
    _ _ _1 0 0 0 _ _ _ _0 0 1 0 其中_表示无关值。
    组合BCD码,是将两位十进制数,存放在一个字节中,例82的存放格式是1000 0010

    由于编码是将每个十进制数用一组4位二进制数来表示,因此,若将这种BCD码直接交计算机去运算,由于计算机总是把数当作二进制数来运算,所以结果可能会出错。例:用BCD码求38+49。

    用四位二进制代码来表示一位十进制数,称为二--十进制编码,简称BCD(Binary Coded Decimal)码。根据代码的每一位是否有权值BCD码可分为有权码和无权码两类,应用最多的是8421BCD码,无权码用得较多的是余三码和格雷码,我们通常所说的BCD码指的是8421BCD码。这些编码跟十进制数对应的关系如下:
    十进制数 8421BCD码 余3码 格雷码
    0 0000 0011 0000
    1 0001 0100 0001
    2 0010 0101 0011
    3 0011 0110 0010
    4 0100 0111 0110
    5 0101 1000 0111
    6 0110 1001 0101
    7 0111 1010 0100
    8 1000 1011 1100
    9 1001 1100 1101
    余三码是在8421BCD码的基础上,把每个数的代码加上0011(对应十进制数3)后得到的。格雷码的编码规则是相邻的两代码之间只有一位二进制位不同。不管是8421BCD码还是余三码还是格雷码,总是4个二进制位对应一个十进制数,如十进制数18对应的8421BCD码就是0001 1000。

    BCD码可分为有权码和无权码两类:有权BCD码有8421码、2421码、5421码,其中8421码是最常用的;无权BCD码有余3码、格雷码(注意:格雷码并不是BCD码)等。

    base64编码

    转换前 10101101,10111010,01110110
    转换后 00101011, 00011011 ,00101001 ,00110110
    十进制 43 27 41 54
    对应码表中的值 r b p 2
    所以上面的24位编码,编码后的Base64值为 rbp2
    解码同理,把 rbq2 的二进制位连接上再重组得到三个8位值,得出原码。
    (解码只是编码的逆过程,有关MIME的RFC还有很多,如果需要详细情况请自行查找。)

    Base64是网络上最常见的用于传输8Bit字节代码的编码方式之一,大家可以查看RFC2045~RFC2049,上面有MIME的详细规范。    Base64编码可用于在HTTP环境下传递较长的标识信息。例如,在Java Persistence系统Hibernate中,就采用了Base64来将一个较长的唯一标识符(一般为128-bit的UUID)编码为一个字符串,用作HTTP表单和HTTP GET URL中的参数。在其他应用程序中,也常常需要把二进制数据编码为适合放在URL(包括隐藏表单域)中的形式。此时,采用Base64编码具有不可读性,即所编码的数据不会被人用肉眼所直接看到。

    一、在地址的前后分别添加AA和ZZ先以“迅雷下载”为例: 很多下载类网站都提供“迅雷下载”的链接,其地址通常是加密的迅雷专用下载地址。
    其实迅雷的“专用地址”也是用Base64加密的,其加密过程如下:
    二、对新的字符串进行Base64编码
    另:Flashget的与迅雷类似,只不过在第一步时加的“料”不同罢了,Flashget在地址前后加的“料”是[FLASHGET]
    而QQ旋风的干脆不加料,直接就对地址进行Base64编码了

    Mozilla Thunderbird和Evolution用Base64来保密电子邮件密码
    Base64 也会经常用作一个简单的“加密”来保护某些数据,而真正的加密通常都比较繁琐。
    垃圾讯息传播者用Base64来避过反垃圾邮件工具,因为那些工具通常都不会翻译Base64的讯息。
    在LDIF档案,Base64用作编码字串。

    Base64要求把每三个8Bit的字节转换为四个6Bit的字节(3*8 = 4*6 = 24),然后把6Bit再添两位高位0,组成四个8Bit的字节,也就是说,转换后的字符串理论上将要比原来的长1/3。

    关于这个编码的规则:
    把3个字符变成4个字符。
    每76个字符加一个换行符。
    最后的结束符也要处理。

    我们的解决办法是这样的:原文剩余的字节根据编码规则继续单独转(1变2,2变3;不够的位数用0补全),再用=号补满4个字节。这就是为什么有些Base64编码会以一个或两个等号结束的原因,但等号最多只有两个。因为:
    一个原字节至少会变成两个目标字节
    所以余数任何情况下都只可能是0,1,2这三个数中的一个。如果余数是0的话,就表示原文字节数正好是3的倍数(最理想的情况)。如果是1的话,转成2个Base64编码字符,为了让Base64编码是4的倍数,就要补2个等号;同理,如果是2的话,就要补1个等号。
    如果最后剩下两个输入数据,在编码结果后加1个“=”;如果最后剩下一个输入数据,编码结果后加2个“=”;如果没有剩下任何数据,就什么都不要加,这样才可以保证资料还原的正确性。
    举例来说,一段引用自Thomas Hobbes's Leviathan的文句:
    Man is distinguished, not only by his reason, but by this singular passion from other animals, which is a lust of the mind, that by a perseverance of delight in the continued and indefatigable generation of knowledge, exceeds the short vehemence of any carnal pleasure.
     
    经过base64编码之后变成:
    TWFuIGlzIGRpc3Rpbmd1aXNoZWQsIG5vdCBvbmx5IGJ5IGhpcyByZWFzb24sIGJ1dCBieSB0aGlz
    IHNpbmd1bGFyIHBhc3Npb24gZnJvbSBvdGhlciBhbmltYWxzLCB3aGljaCBpcyBhIGx1c3Qgb2Yg
    dGhlIG1pbmQsIHRoYXQgYnkgYSBwZXJzZXZlcmFuY2Ugb2YgZGVsaWdodCBpbiB0aGUgY29udGlu
    dWVkIGFuZCBpbmRlZmF0aWdhYmxlIGdlbmVyYXRpb24gb2Yga25vd2xlZGdlLCBleGNlZWRzIHRo
    ZSBzaG9ydCB2ZWhlbWVuY2Ugb2YgYW55IGNhcm5hbCBwbGVhc3VyZS4=
     
    Table 1: The Base64 Alphabet  RFC2045
    大写26+小写26+数字10+符号2=64
    索引
    对应字符
    索引
    对应字符
    索引
    对应字符
    索引
    对应字符
    0
    A
    17
    R
    34
    i
    51
    z
    1
    B
    18
    S
    35
    j
    52
    0
    2
    C
    19
    T
    36
    k
    53
    1
    3
    D
    20
    U
    37
    l
    54
    2
    4
    E
    21
    V
    38
    m
    55
    3
    5
    F
    22
    W
    39
    n
    56
    4
    6
    G
    23
    X
    40
    o
    57
    5
    7
    H
    24
    Y
    41
    p
    58
    6
    8
    I
    25
    Z
    42
    q
    59
    7
    9
    J
    26
    a
    43
    r
    60
    8
    10
    K
    27
    b
    44
    s
    61
    9
    11
    L
    28
    c
    45
    t
    62
    +
    12
    M
    29
    d
    46
    u
    63
    /
    13
    N
    30
    e
    47
    v
       
    14
    O
    31
    f
    48
    w
       
    15
    P
    32
    g
    49
    x
       
    16
    Q
    33
    h
    50
    y
       

    Unicode

    Unicode(统一码、万国码、单一码)是一种在计算机上使用的字符编码。它为每种语言中的每个字符设定了统一并且唯一的二进制编码,以满足跨语言、跨 平台进行文本转换、处理的要求。1990年开始研发,1994年正式公布。随着计算机工作能力的增强,Unicode也在面世以来的十多年里得到普及。

    最新版本的 Unicode 是 2006年7月14日推出的Unicode 5.0.0。

    Unicode 的编码方式与 ISO 10646 的通用字符集(Universal Character Set,UCS)概念相对应,目前实际应用的 Unicode 版本对应于 UCS-2,使用16位的编码空间。也就是每个字符占用2个字节。这样理论上一共最多可以表示 216 即 65536 个字符。基本满足各种语言的使用。实际上目前版本的 Unicode 尚未填充满这16位编码,保留了大量空间作为特殊使用或将来扩展。

    2017年unicode version 10.0.0已发布

    http://blog.csdn.net/hherima/article/details/9045861  很重要!!!!

    http://www.unicode.org/charts/

    http://www.unicode.org/charts/About.html

  • 相关阅读:
    ORMs Under the Hood
    django-spaghetti-and-meatballs 0.2.0 : Python Package Index
    Django
    What is entity relationship diagram?
    Sov5搜索
    Django中国社区
    Django中的Model(字段)
    Django中的Model(操作表)
    Fbric、Ansible、Docker、Chaos Monkey:DevOps工具的年中回顾
    基于ansible role实现LAMP平台批量部署
  • 原文地址:https://www.cnblogs.com/createyuan/p/4431669.html
Copyright © 2011-2022 走看看