zoukankan      html  css  js  c++  java
  • [转]Linux下转换字符集(UTF8转换)

    今天在Linux 下使用 Iconv 命令转换一个UTF8文件时,总是转换不成功。提示:

    iconv: 未知 0 处的非法输入序列

    后来使用 man iconv 查看,还是没发现异常,因为命令格式都是正确的。后来找了许多资料才知道原因,如下:

    a. 在做编码转换的时候,如果你的源格式设定为 GB2312 的话,而且在转换成 UTF-8 的时候,发现程序会报“illegal input sequence at position xxxx”的错误。这是由于你之前的做的假定有问题。GB2312 是国标里面一个最小也是最早的中文编码标准。其中,只涵盖了 6,763 个汉字。所以你需要转换的文件的原始的格式可能并不是 GB2312 编码。这个时候,你可以用 GB18030 做为源格式来进行转换。GB18030 是最新的国家标准,包含了 27,564 个汉字,而且向下兼容 GB2312 和 GBK。

    b.另外,支持 Unicode 且 Free 的中文字库我推荐使用”文泉驿“。这好像也是目前为止,唯一的一个以支持 Unicode 为出发点的 Free 的中文字库。

    后来我直接输入:iconv -f utf8 -t gb18030 aaa.txt > bbb.txt   就OK了。

    转:

    在LINUX上进行编码转换时,既可以利用iconv函数族编程实现,也可以利用iconv命令来实现,只不过后者是针对文件的,即将指定文件从一种编码转换为另一种编码。
    一、利用iconv函数族进行编码转换
    iconv函数族的头文件是iconv.h,使用前需包含之。
    #include <iconv.h>
    iconv函数族有三个函数,原型如下:
    (1) iconv_t iconv_open(const char *tocode, const char *fromcode);
    此函数说明将要进行哪两种编码的转换,tocode是目标编码,fromcode是原编码,该函数返回一个转换句柄,供以下两个函数使用。
    (2) size_t iconv(iconv_t cd,char **inbuf,size_t *inbytesleft,char **outbuf,size_t *outbytesleft);
    此函数从inbuf中读取字符,转换后输出到outbuf中,inbytesleft用以记录还未转换的字符数,outbytesleft用以记录输出缓冲的剩余空间。

    (3) int iconv_close(iconv_t cd);
    此函数用于关闭转换句柄,释放资源。
    例子1: 用C语言实现的转换示例程序

    /* f.c : 代码转换示例C程序 */具体讲,自己的验证实现是根据文中的f.c实现的
    #include <iconv.h>
    #define OUTLEN 255
    main()
    {
    char *in_utf8 = "姝e?ㄥ??瑁?";<=======此字符串似乎并不是“正在安装”四个字的UTF8的对照串,
    char *in_gb2312 = "正在安装";
    char out[OUTLEN];

    //unicode码转为gb2312码
    rc = u2g(in_utf8,strlen(in_utf8),out,OUTLEN);
    printf("unicode-->gb2312 out=%sn",out);
    //gb2312码转为unicode码
    rc = g2u(in_gb2312,strlen(in_gb2312),out,OUTLEN);
    printf("gb2312-->unicode out=%sn",out);
    }
    //代码转换:从一种编码转为另一种编码
    int code_convert(char *from_charset,char *to_charset,char *inbuf,int inlen,char *outbuf,int outlen)
    {
    iconv_t cd;
    int rc;
    char **pin = &inbuf;
    char **pout = &outbuf;

    cd = iconv_open(to_charset,from_charset);
    if (cd==0) return -1;
    memset(outbuf,0,outlen);
    if (iconv(cd,pin,&inlen,pout,&outlen)==-1) return -1;
    iconv_close(cd);
    return 0;
    }
    //UNICODE码转为GB2312码
    int u2g(char *inbuf,int inlen,char *outbuf,int outlen)
    {
    return code_convert("utf-8","gb2312",inbuf,inlen,outbuf,outlen);
    }
    //GB2312码转为UNICODE码
    int g2u(char *inbuf,size_t inlen,char *outbuf,size_t outlen)
    {
    return code_convert("gb2312","utf-8",inbuf,inlen,outbuf,outlen);
    }

    例子2: 用C++语言实现的转换示例程序

    /* f.cpp : 代码转换示例C++程序 */
    #include <iconv.h>
    #include <iostream>

    #define OUTLEN 255

    using namespace std;

    // 代码转换操作类
    class CodeConverter {
    private:
    iconv_t cd;
    public:
    // 构造
    CodeConverter(const char *from_charset,const char *to_charset) {
    cd = iconv_open(to_charset,from_charset);
    }

    // 析构
    ~CodeConverter() {
    iconv_close(cd);
    }

    // 转换输出
    int convert(char *inbuf,int inlen,char *outbuf,int outlen) {
    char **pin = &inbuf;
    char **pout = &outbuf;

    memset(outbuf,0,outlen);
    return iconv(cd,pin,(size_t *)&inlen,pout,(size_t *)&outlen);
    }
    };

    int main(int argc, char **argv)
    {
    char *in_utf8 = "姝e?ㄥ??瑁?";
    char *in_gb2312 = "正在安装";
    char out[OUTLEN];

    // utf-8-->gb2312
    CodeConverter cc = CodeConverter("utf-8","gb2312");
    cc.convert(in_utf8,strlen(in_utf8),out,OUTLEN);
    cout << "utf-8-->gb2312 in=" << in_utf8 << ",out=" << out << endl;

    // gb2312-->utf-8
    CodeConverter cc2 = CodeConverter("gb2312","utf-8");
    cc2.convert(in_gb2312,strlen(in_gb2312),out,OUTLEN);
    cout << "gb2312-->utf-8 in=" << in_gb2312 << ",out=" << out << endl;
    }


    二、利用iconv命令进行编码转换

    iconv命令用于转换指定文件的编码,默认输出到标准输出设备,亦可指定输出文件。

    用法: iconv [选项...] [文件...]

    有如下选项可用:

    输入/输出格式规范:
    -f, --from-code=名称 原始文本编码
    -t, --to-code=名称 输出编码

    信息:
    -l, --list 列举所有已知的字符集

    输出控制:
    -c 从输出中忽略无效的字符
    -o, --output=FILE 输出文件
    -s, --silent 关闭警告
    --verbose 打印进度信息

    -?, --help 给出该系统求助列表
    --usage 给出简要的用法信息
    -V, --version 打印程序版本号

    例子:
    iconv -f utf-8 -t gb2312 aaa.txt >bbb.txt
    这个命令读取aaa.txt文件,从utf-8编码转换为gb2312编码,其输出定向到bbb.txt文件。

    Reference:

    http://ybxu-123.blog.163.com/blog/static/594737702009102694536472/

  • 相关阅读:
    在线编辑器fckeditor的使用和配置
    Oracle CHAR,VARCHAR,VARCHAR2类型的区别与使用
    where having 的区别
    软件架构师之我见
    在线编辑器fckeditor的使用和配置
    where having 的区别
    必须掌握的八个【cmd 命令行】
    浅析PHP实现同步远程MysqlPHP编程教程详解
    MSSQL智能感应
    SQL统计表行数
  • 原文地址:https://www.cnblogs.com/galoishelley/p/3504785.html
Copyright © 2011-2022 走看看