zoukankan      html  css  js  c++  java
  • 工作记录之 [ python请求url ] v s [ java请求url ]

    背景:

    模拟浏览器访问web,发送https请求url,为了实验需求需要获取ipv4数据包

    由于不做后续的内容整理(有内部平台分析),故只要写几行代码请求发送https请求url列表中的url即可

    开始使用python的urllib库的urllib.request.openurl()来进行访问,例如访问百度的:

    page = urllib.request.urlopen('https://www.baidu.com')

    如果请求成功则执行后续任务,失败则采用异常捕获,跳过此url并记录到文件(在此不给出代码,其实我主要就是想说明java与python的请求有很大不同之处)

    在请求某些url时,如yahoo.com  采用分析平台捕获不到ipv4的数据包:

     

    出于好奇,我使用浏览器人工去访问下此网站,发现浏览器中访问时是ipv4的:

     

    放弃python,直接上java:

    try {
         URL reqURL = new URL("https://www.yahoo.com/news" );
         HttpsURLConnection httpsConn = (HttpsURLConnection)reqURL.openConnection();
                
         new InputStreamReader(httpsConn.getInputStream());
                
    }catch(Exception e) {
        System.out.println(e);;
    }

     

     再次查看捕获的数据包(应该是它更加优秀的模拟了浏览器去请求url):

    (在此只作记录,没有深入研究(^_^))


    本节完......

  • 相关阅读:
    Nginx教程(三) Nginx日志管理
    Nginx教程(二) Nginx虚拟主机配置
    官方解析Cookies和Session的区别
    J2EE十三个技术规范
    J2EE十三个规范小结
    tomcat -web.xml里的内容
    tcp协议和udp协议的使用场景
    IntelliJ IDEA创建maven web项目(IDEA新手适用)
    Maven安装与配置
    X86、X64和X86_64区别
  • 原文地址:https://www.cnblogs.com/xinglichao/p/10235462.html
Copyright © 2011-2022 走看看