zoukankan      html  css  js  c++  java
  • 08 python之网络爬虫之乱码问题

    乱码问题有三种解决方式,下面我们通过一个示例进行理解

    示例:

           爬取4k美女壁纸中的图片   http://pic.netbian.com/4kmeinv/

    import requests
    from lxml import etree
    import os
    from urllib import request

    if not os.path.exists("4kmeimei"):
    os.mkdir("4kmeimei")

    headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'
    }

    url = 'http://pic.netbian.com/4kmeinv/'
    # 第一种去除乱码方式  -> 直接拿到乱码的文本内容,进行解码

    page_text = requests.get(url=url,headers=headers).content.decode("gbk")

    # 第二种去除编码的格式 -> 常规使用,拿到对象进行编码,在取出文本
    response = requests.get(url=url,headers=headers)
    response.encoding = 'gbk'
    page_text = response.text

    # 第三种去除编码的格式 -> 比较麻烦,但最好用
    response = requests.get(url=url,headers=headers)
    # 检查请求到的源码数据的编码个格式
    # print(response.encoding)
    page_text = response.text

    # 第三种这么麻烦为什么要去这样写呢?
    # 好处:这样写,几乎任何形式的乱码,都可以处理


    # # print(page_text)

    # 实例化一个etree对象
    tree = etree.HTML(page_text)
    li_list = tree.xpath('//div[@class="slist"]/ul/li')
    for li in li_list:
    img_src = li.xpath('./a/@href')[0]
    img_src = "http://pic.netbian.com" + img_src
    img_name = li.xpath('./a/img/@alt')[0]
    # img_name = img_name.encode('ISO-8859-1').decode("gbk") #第三种去除编码格式
    # print(img_src,img_name)

    detail_page_text = requests.get(url=img_src,headers=headers).content.decode("gbk")
    # 实例化一个etree对象,跟上面哪个实例化对象没有关系
    tree = etree.HTML(detail_page_text)
    detail_img_src = tree.xpath('//a[@id="img"]/img/@src')[0]
    detail_img_src = "http://pic.netbian.com" + detail_img_src
    detail_img_name = tree.xpath('//a[@id="img"]/img/@alt')[0]
    # print(detail_img_src,detail_img_name)
    imgPath = "4kmeimei" + detail_img_name + ".jpg"
    request.urlretrieve(url=detail_img_src,filename=imgPath)
    print(detail_img_name + "下载成功")
    print("下载完毕!!!")

      

    在爬取过程中,建议先使用前两种,如果不能解决乱码问题,在使用最后一种

  • 相关阅读:
    区块链 超级节点什么鬼?
    堆排序--模版类
    梯度下降算法Python简单试验
    svn: Can't convert string from 'UTF-8' to native encoding
    常用加密算法比较
    快速排序结合插入排序
    无法解析的外部符号
    mysql 远程连接出错问题
    50个C/C++经典面试题
    设计算法找出字符串中重复出现最长的子串
  • 原文地址:https://www.cnblogs.com/mwhylj/p/10246787.html
Copyright © 2011-2022 走看看