zoukankan      html  css  js  c++  java
  • 解决python3爬取网页(GB2312编码)中文乱码问题

      爬取网页时由于编码格式的问题,导致中文乱码,解决方法就是将原文件转码成latin1编码(使用encode函数) ,再解码成gbk编码(使用decode函数) 

    即可输出正确中文。

      如下:

     1 # coding:UTF-8
     2 
     3 import requests
     4 
     5 headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
     6          'Host':'www.dy2018.com'}
     7 
     8 url=('https://www.dy2018.com/1/')
     9  
    10 r = requests.get(url,headers=headers)
    11 
    12 data = r.text.encode("latin1").decode("gbk")  ###将原文件转码成latin1编码(使用encode函数) ,再解码成gbk编码(使用decode函数)
    13 
    14 with open('t1.txt','w',encoding='utf-8') as f:
    15     f.write(data)
    16     f.close
  • 相关阅读:
    linux 下载openssl 亲测有效
    在linux文件中 怎么查看文件的行数
    linux 安装mysql 数据库
    bccomp
    javascript之date
    javascript之函数
    JavaScript数据类型之数组
    BOM
    canvas
    javascript数据类型之对象
  • 原文地址:https://www.cnblogs.com/cooper-73/p/9921180.html
Copyright © 2011-2022 走看看