zoukankan      html  css  js  c++  java
  • 爬虫中的代理的几种异常

    能够ping通不代表有地址有效!别自寻苦恼!

    SSL异常:

    1.      requests.exceptions.SSLError: HTTPSConnectionPool(host='119.139.198.65', port=3128): Max retries exceeded with url: http://icanhazip.com/ (Caused by SSLError(SSLError("bad handshake: Error([('SSL routines', 'ssl3_get_record', 'wrong version number')])")))

        问题来源:使用的IP地址 是Http类型的  没有进行SSL加密

        解决:更换IP   来源 :https://www.xicidaili.com/  ;https://www.kuaidaili.com/free/

      2.  requests.exceptions.ChunkedEncodingError: ("Connection broken: ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None)",       ConnectionResetError(10054, '远程主机强迫关闭了一个现有的连接。', None, 10054, None))

       问题来源:该地址 在抓取验证过程中人被判定为有效,但是在使用的时候已经超过生命周期

       解决:换地址

      3  requests.exceptions.ProxyError: HTTPSConnectionPool(host='47.104.172.108', port=8118): Max retries exceeded with url: http://icanhazip.com/ (Caused by         ProxyError('Cannot connect to proxy.', OSError('Tunnel connection failed: 503 Too many open connections')))
          

        (部分)问题来源:ip和HTTP类型但是强行使用https协议

    all:知晓代理的协议类型:搭建ip池构建IP资源:不会数据分析,就别学爬虫了!血崩

  • 相关阅读:
    Bellman-Ford(BF)和Floyd算法
    Dijkstra实现最短路径
    【图论】连通分量个数(并查集)
    【模拟】n a^o7 !
    【图论】最小生成树
    【搜索DFS】图的深度遍历(dfs)
    【搜索BFS】poj3278--Catch That Cow(bfs)
    【图论】判断给定图是否存在合法拓扑序列
    二叉排序树
    【树】判断给定森林中有多少棵树(简单做法)
  • 原文地址:https://www.cnblogs.com/zengmu/p/11346955.html
Copyright © 2011-2022 走看看