zoukankan      html  css  js  c++  java
  • 大三上寒假15天--第14天

    今天依旧学习了webmagic爬虫,发现昨天爬取的网址不对,内容也不对,重新找了一个网址爬取,重新整理了思路,发现这个网址,分为三种类型的链接,建议,咨询和一个什么记不清了,需要先判断类型,然后才能分配Id,然后加入url队列。

    这个网址的一大难点,就是分页是一个POST传值,然后动态的修改了网页内容,所以今天重新学习了,通过POST获取内容,收益匪浅,忙活了一天,忘记写博客了,很晚了所以就写这么多吧。

    另外附上学习的网址,讲的很好

    关键代码为:

    Request request = new Request("");

    request.setMethod(HttpConstant.Method.POST);

    request.setRequestBody(HttpRequestBody.json("{'id':1}","utf-8"));
    ————————————————
    版权声明:本文为CSDN博主「简单.」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
    原文链接:https://blog.csdn.net/weixin_42244754/article/details/81566590

  • 相关阅读:
    python入门_老男孩_文件操作
    python入门_老男孩_列表和字典循环删除的正确方法
    python入门_老男孩_集合_元祖
    linux入门_韩顺平_复习版_文件目录类
    python-re模块
    sorted()函数
    偏函数+高阶函数
    生成器
    闭包
    匿名函数
  • 原文地址:https://www.cnblogs.com/my---world/p/12310454.html
Copyright © 2011-2022 走看看