zoukankan      html  css  js  c++  java
  • python 读取带BOM的utf-8格式文件

    **

    UTF有哪些分类?
    **

    UTF-8分为两种,一种是不带BOM的,一种是带BOM的。其中第一种不带BOM的是标准形式,第二种带BOM的主要是微软的习惯。

    **

    为什么有BOM的UTF-8?
    **
    微软在UTF-8中使用BOM(Byte order mark)是因为这样可以将UTF-8和ASCII等编码明确区分开。
    windows对于utf-8格式的文件存储默认是带有BOM的格式

    **

    为什么BOM不受欢迎?
    **
    因为在UNIX环境下,很多的UNIX程序不认识BOM。主要是在UNIX所有脚本语言首行为#!标示,它依赖于shell解析,而很多shell出于兼容的考虑不检测BOM,所以加进BOM时shell会把它解释为某个普通字符输入导致破坏#!标示。比如很多现代脚本语言,例如python,其解释器本身是能处理BOM的,但是shell卡在这里。
    因此我们在linux服务器上读取这些txt文件时,会遇到如下报错:
    xefxbbxbf…

    **

    怎么解决?
    **
    使用codecs库,将文件转换为utf-8-sig格式

    import codecs

    with open("xx.txt",'r','utf-8-sig') as file:
    line = file.readlines();
    ————————————————
    版权声明:本文为CSDN博主「樱夕夕」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/qq_21460525/java/article/details/66971225

  • 相关阅读:
    在 Ubuntu 中运转 µTorrent
    TestDisk & PhotoRec——两个数据规复软件
    Ext2 IFS For Windows
    Rainlendar-可定制的桌面日历
    Gimmix:一个新的 MPD 客户端播放器
    SuperSwitcher-桌面增强器械
    Audacity 1.2.6 & 1.3.2
    XChat 2.8.0
    Griffith:电影聚集筹划软件
    VLC media player 0.8.6a
  • 原文地址:https://www.cnblogs.com/vincent-sh/p/12874002.html
Copyright © 2011-2022 走看看