zoukankan      html  css  js  c++  java
  • 用node.js从零开始去写一个简单的爬虫

    如果你不会Python语言,正好又是一个node.js小白,看完这篇文章之后,一定会觉得受益匪浅,感受到自己又新get到了一门技能,如何用node.js从零开始去写一个简单的爬虫,十分钟时间就能搞定,步骤其实很简单。node的安装就不一步步的解释了,如果不会可以自行百度。在node开大环境下开始第一步:

    1:在d盘新建一个文件夹WebSpider

    2:cmd右键以管理员模式打开,进入d盘,cd 进入刚刚创建的文件夹里面
    cd WebSpider

    3:mkdir FirstSpider (创建一个FirstSpider文件夹)

    创建FirstSpider文件夹之后的目录

    4:进入刚刚创建的文件夹里面 cd FirstSpider

    5: npm init (初始化工程)

    此时需要填写一些项目信息,你可以根据情况填写,当然也可以一路回车。

    创建完项目后,会生成一个package.json的文件。该文件包含了项目的基本信息。

    6:安装第三方包(后面程序会直接调用包的模块)

    说明:由于http模块、fs模块都是内置的包,因此不需要额外添加。

    这里安装cheerio包,和request包。request 用于发起http请求
    cheerio 用于将下载下来的dom进行分析和提取 你可以把它当做jQuery来用

    在cmd中,cd进入cd FirstSpider文件夹,然后执行命令:
    npm install cheerio –save

    安装完cheerio包后,继续安装request包, npm install request –save

    说明:npm(nodejs package manager),nodejs包管理器;
    –save的目的是将项目对该包的依赖写入到package.json文件中。

    如果想要将爬取的数据和图片分类放好,那就事先建立一个data和image文件夹准备着。
    在FirstSpider文件夹下新建

    创建子文件夹data(用于存放所抓取的新闻文本内容)
    创建子文件夹image(用于存放所抓取的图片资源)
    创建一个first_spider文件
    

    整个项目的目录结构如下图所示:

    7:重点内容,打开first_spider,并一行一行的敲代码,如果你不想写代码的话,去网站上找一些代码过来进行测试即可。

    var request = require('request')
    var cheerio = require('cheerio')
    for(var i = 1;i<4;i++){
      request('http://www.souweixin.com/personal?t=41&p='+i,function(error,response,body){
        if(!error && response.statusCode == 200){
          $ = cheerio.load(body)
          var links = [];
            $(".boldBorder > a").each(function(i,item){
              links.push($(this).attr("href"))
            })
          for(var i=0;i<links.length;i++){
            request('http://www.souweixin.com'+links[i],function(error,response,body){
              if(!error && response.statusCode == 200){
                $ = cheerio.load(body)
                console.log('weixin: '+$('.bold').text()+'   name: '+$('h1').text()+'   desc: '+$('.f18').text());
              }
            })
          }
        }
      })
    }
    

    8:运行程序,命令很简单哦
    在cmd命令行下,cd 到你创建工程文件夹FirstSpider下,然后 node first_spider.js 程序就跑起来了。

    9:注意:如果这个时候遇见这样的bug


    80端口被占用,这里额外的提一下:
    解决端口被占用的问题:https://www.jianshu.com/p/a7fc19b0c2f1

    找到这些端口,一个个关闭即可

    原文作者:祈澈姑娘
    技术博客:https://www.jianshu.com/u/05f416aefbe1
    90后前端妹子,爱编程,爱运营,爱折腾。 坚持总结工作中遇到的技术问题,坚持记录工作中所所思所见.

  • 相关阅读:
    spark 学习笔记 sample 算子
    spark 学习笔记 dataframe注册生成表
    hbase 的hdfs目录解析
    ldap用户创建
    phpldap部署
    ldap部署
    zookeeper 无法启动 ERROR org.apache.zookeeper.server.quorum.QuorumPeer: Unable to load database on disk java.io.EOFException
    数据采集flume kafka
    GraphQL教程(二) .net Core api 2.1
    GraphQL教程(一)。.net Core API2.1
  • 原文地址:https://www.cnblogs.com/wangting888/p/9701356.html
Copyright © 2011-2022 走看看