zoukankan      html  css  js  c++  java
  • java 如何解决爬虫ip被封的3种方式

    1.设置代理ip

    1 HttpHost proxy = new HttpHost("112.36.34.134",80);//设置代理ip
    2 
    3         RequestConfig config = RequestConfig.custom()
    4                 .setProxy(proxy)
    5             

    2.延长访问时间

    1         RequestConfig config = RequestConfig.custom()
    2                 
    3                 .setConnectTimeout(1000=0)// 创建连接的最长时间
    4                 .setConnectionRequestTimeout(1000)// 获取连接的最长时间
    5                 .setSocketTimeout(1000)// 数据传输的最长时间
    6                 .build();

    3.伪装成浏览器

    1 HttpGet httpGet = new HttpGet(url);
    2         // 设置请求信息
    3         //伪装浏览器
    4         httpGet.setHeader("User-Agent","Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:58.0) Gecko/20100101 Firefox/58.0");
  • 相关阅读:
    扫描线 leetcode 759
    创建tensor的方法
    vector
    scatter_
    size、shape
    复杂问题
    random.normal
    set
    将可迭代对象中的元素通过字典映射成数字
    zipfile.ZipFile
  • 原文地址:https://www.cnblogs.com/moomcake/p/11887792.html
Copyright © 2011-2022 走看看