zoukankan      html  css  js  c++  java
  • 成都58同城快速租房的爬虫,nodeJS爬虫

    我个人还是非常奉行 talk is cheap, show me your code 这个理念的。
    只希望能够帮助到真正需要的人,帮你快速找到物美价廉的房子。
    我也是租房子的时候,希望快速找到自己觉得不错又物美价廉的房子。但是鉴于58一个界面提供的信息是在太少,于是一次性找个几百条然后通过 filter 过滤后,再去找,效率大增。

    Features

    • 快捷租房查询,记录根据条件快速筛选出符合条件的房子。
    • 根据你关心的条件获得匹配的房子链接,还可以自定义filters函数用你的规则过滤。
    • 简单的自定义配置

    Screenshots

    • 首先安装依赖
    npm install
    
    • 获取特定地区和经过特定条件筛选后的url,修改config中的url为你复制的地址

    get 58 url

    • 执行 npm run start 运行脚本

    run screenshot

    after filter out

    Tools

    • nodejs
    • request - Simplified HTTP request client.
    • cheerio - Fast, flexible & lean implementation of core jQuery designed specifically for the server.

    TODO

    • 通过命令行输入条件做到手动复制地址,一键生成地址。
    • 代理切换,验证识别。防止被反爬虫机制检测。
    • _ 懒啊~~

    license

    MIT

    thanks

    旧瓶装新酒,算是nodeJS版本的实现之一。

  • 相关阅读:
    django之上传
    djano的ORM操作
    Python中的分页管理
    MySQL作业
    socket操作
    python的os模块
    django-debug-toolbar的配置及使用
    logging模板及配置说明
    使用StrictRedis连接操作有序集合
    学习总结
  • 原文地址:https://www.cnblogs.com/givingwu/p/9672205.html
Copyright © 2011-2022 走看看