zoukankan      html  css  js  c++  java
  • 批量txt之ANSI编码转UTF-8编码

    这个问题终于解决了,因为要分类,要整自己的数据集,有好多ANSI编码的很恶心人,也百度了方法,但是到我这就是差那么一点点,说白了就是转不了,由相关博主推荐的exe小程序也是解决不了问题。

    主要参考博客:https://www.cnblogs.com/lxh1208891835/p/9493764.html  https://blog.csdn.net/eydwyz/article/details/56276432 (一类的博客)  https://www.cnblogs.com/123ing/p/4134451.html  https://www.cnblogs.com/LicwStack/p/6877817.html  等等吧

    最终自己拼凑思路解决问题:首先我的txt不是所有的都是ANSI编码,我要判断txt的编码,百度此方法;其次找到了ANSI编码的txt,如何读取再存储,并且不改变txt名称、内容

    具体代码如下:(记录一下,防止以后再用到,也或许能帮到其他人)

    import chardet
    import os
    path = "F:\corpus"    # 所有txt存放的文件夹的路径
    files = os.listdir(path)   # 读取所有txt的文件名,包含后缀名
    print(files)   
    print(len(files))
    for file in files:    # 循环所有txt
        p = path + "\" + file   # 拼接各个txt的路径
        f = open(p, 'rb')  # 打开文件,读取内容,判断编码
        data = f.read()
        f.close()
        txtEncoding = chardet.detect(data).get("encoding")
        if txtEncoding == "GB2312":   # 经个人实验,发现ANSI编码检测时为GB2312编码,所以以此为判断条件
            print(file)
            with open(p, 'r') as f:  # 读取编码为ANSI编码txt的内容,存放到一个变量里
                content = f.read()
            f.close()
    
            with open(p, 'w', encoding="utf-8") as f:  # 把读取的内容,存入原txt中,替换原内容
                f.write(content)
            f.close()

    经过实验,可以达到我想要的效果,至此结束!希望可以帮到大家!

                                                                    

  • 相关阅读:
    Apache 阿帕奇 配置运行环境
    2019年6月多校联训b层——搜索算法 Problem A 宽搜 营救
    西安集训B Day1 test 问题 C: 小明的城堡
    西安集训B层Day1 test 问题 A: 旅行日记
    二分答案—洛谷P1182 数列分段`Section II`
    2019.5.25 Noip模拟测试2 T2题解
    2019.5.25 Noip模拟测试2 T1题解
    DP专题练习 toasting
    2019.5.1 DP专题训练 山峰数(hill)
    React 点击按钮显示div与隐藏div
  • 原文地址:https://www.cnblogs.com/JadenFK3326/p/13055366.html
Copyright © 2011-2022 走看看