zoukankan      html  css  js  c++  java
  • python中zipfile文件名编码的问题

    在python中编程导入压缩包,利用zipfile包,从zipinfo读取文件名总是出错,创建的文件名是乱码,写入pgsql更是出错。

    但在ubuntu下测试却正常,在windows下测试总是失败。

                if not hdfs.exists_file_dir(dir):
                    hdfs.make_dir(dir)
                hdfs.create_file(hpath, zip.read(info))
    
                # There is no official file name encoding for ZIP files. If you have unicode file names,
                # you must convert them to byte strings in your desired encoding before passing them to write().
                origin_name = os.path.split(info.filename)[-1].decode(chardet.detect(info.filename)['encoding'])
    
                df = DataPart(
                    id=part_id,
                    data_title=origin_name,
                    data_title_en=origin_name,
                    data_author=data_author,
                    data_name=hpath,
                    origin_file_name=origin_name,
                    remark=remark if remark else 'extracted',
                    store_type='file',
                    file_size=info.file_size,
                    file_ext=file_ext
                )
                db.session.add(df)
                db.session.commit()

    初步分析应该是zipfile中的文件名不是unicode编码,将其进行unicode编码应该可以解决。

    在zipfile的文档中,有这样一句话:

    Note There is no official file name encoding for ZIP files. If you have unicode file names, you must convert them to byte strings in your desired encoding before passing them to write(). WinZip interprets all file names as encoded in CP437, also known as DOS Latin.
    

      

    根据以上,先用chartdet进行文件名编码的判定,然后进行unicode解码,汉字文件名可以正常显示,写入数据库也正常了。

                # There is no official file name encoding for ZIP files. If you have unicode file names,
                # you must convert them to byte strings in your desired encoding before passing them to write().
                origin_name = os.path.split(info.filename)[-1].decode(chardet.detect(info.filename)['encoding'])
  • 相关阅读:
    Linux GCC
    操作系统中的一些数据结构
    《C程序设计》指针部分学习记录-易混点
    操作系统原理与实践-试验2操作系统的引导记录
    输入字符串测试
    实模式和保护模式
    Unity周记: 2020.07.06-07.12
    Unity论坛问答-如何裁剪一个多边形
    Unity论坛问答-如何让Camera.ScreenToWroldPoint在XZ平面上移动
    Unity杂谈-SRP为什么不再使用CG
  • 原文地址:https://www.cnblogs.com/legendjslc/p/6023646.html
Copyright © 2011-2022 走看看