zoukankan      html  css  js  c++  java
  • linux下编码转换

    1.什么是编码?

    关于编码的定义,我们可以查看百度全科http://baike.baidu.com/view/237708.htm

    还可以参考:http://www.cnblogs.com/cocowool/archive/2009/04/25/1443529.html

    2.linux下经常遇到的编码问题

    如果你需要在Linux中操作windows下的文件,那么你可能会经常遇到文件编码转换的问题。Windows中默认的文
    件格式是GBK(gb2312),而Linux一般都是UTF-8

    3.查看编码的方法

    方法一:file filename

    方法二:在Vim中可以直接查看文件编码

      :set fileencoding

    即可显示文件编码格式。

    如果你只是想查看其它编码格式的文件或者想解决用Vim查看文件乱码的问题,那么你可以在
      ~/.vimrc 文件中添加以下内容:
      set encoding=utf-8 fileencodings=ucs-bom,utf-8,cp936
      这样,就可以让vim自动识别文件编码(可以自动识别UTF-8或者GBK编码的文件),其实就是依照
    fileencodings提供的编码列表尝试,如果没有找到合适的编码,就用latin-1ASCII)编码打开。

    4.文件编码转换

    多平台方法:
    iconv        提供标准的程序和API来进行编码转换;
    convert_encoding.py    基于Python的文本文件转换工具;
    decodeh.py    提供算法和模块来谈测字符的编码;

    Linux:
    recode    转换文件编码;
    Utrac    转换文件编码;
    cstocs    转换文件编码;
    convmv    转换文件名编码;
    enca    分析给定文件的编码;

    Windows:
    cscvt    字符集转换工具;

    linux下文件编码转换:

    方法一:

    在Vim中直接进行转换文件编码,比如将一个文件转换成utf-8格式
      :set fileencoding=utf-8

    方法二:

    iconv 转换

    5.案例:

    假如说我们将windows下的一个UTF-8的文件传到linux环境下,linux环境下的系统编码是GB18030,我们cat的时候就会出现乱码,这个时候就应该想到转码了,下面我们来进行试验:

    我们将windows下一个名为UTF-8.sh的文件传到linux系统中,其中UTF-8.sh的内容如下:

    我是中文编码UTF-8模式~

    而linux系统的系统语言设置为:

    [root@sor-sys zy]# cat /etc/sysconfig/i18n 
    LANG=zh_CN.GB18030

    SYSFONT="latarcyrheb-sun16"
    这个时候查看一下文件的内容及编码:

    [root@sor-sys zy]# file UTF-8.sh 
    UTF-8.sh: UTF-8 Unicode text, with no line terminators
    [root@sor-sys zy]# cat UTF-8.sh 
    锘挎垜鏄腑鏂囩紪鐮乁TF-8妯″紡~[root@sor-sys zy]# 
    [root@sor-sys zy]# 

    这个时候我们就需要转换编码了,记得使用iconv

    [root@sor-sys zy]# iconv -f UTF-8 -t GB18030 UTF-8.sh -o GB18030.sh
    [root@sor-sys zy]# cat GB18030.sh
    ??我是中文编码UTF-8模式~[root@sor-sys zy]# 
    [root@sor-sys zy]# file GB18030.sh 
    GB18030.sh: Non-ISO extended-ASCII text, with no line terminators
    [root@sor-sys zy]# 

  • 相关阅读:
    Discuz! 的编码规范
    Golang 并发编程指南
    Hyrum's Law
    从数组中将变量导入到当前的符号表
    map[interface {}]interface {} yaml文件解码
    迪基福勒检验
    约定式路由
    use of internal package github.com/gokratos/kratos/v2/internal/httputil not allowed
    See https://v8.dev/blog/mathrandom for details.
    Cast a value as a certain type
  • 原文地址:https://www.cnblogs.com/cosiray/p/2483111.html
Copyright © 2011-2022 走看看