zoukankan      html  css  js  c++  java
  • 创建项目/执行

    创建项目

    一、创建项目

      1.conda创建环境

      1)安装anaconda后,使用conda向指定工作目录下创建虚拟环境;

      命令:conda create --prefix=w:work_prejectScrapy_projectvenv python=3.6

      解释:在工作目录下,首先创建conda 虚拟环境;

      2)安装Scrapy库

      步骤:

        1.激活虚拟环境        activate  w:work_projectScrapy_projectvenv  

        2.安装Scrapy           conda install Scrapy  

      2.Scrapy 创建项目

      1)进入爬虫项目工作目录,如video_project,建立爬虫项目 目录结构;

      步骤:

        1.进入video_project 项目,建立爬虫项目结构

          cd w:work_projectScrapy_project  

          scrapy startproject video_spider

      3.Scrapy 创建爬虫主程序

      1)进入爬虫项目 目录结构 建立爬虫主程序

      步骤:

        1.进入目录结构 spiders下,cd w:work_projectScrapy_projectvideo_spidervideo_spiderspiders

        2.建立主程序,scrapy genspider youku youku.com

         

    二、编辑项目

    三、执行项目

      1.使用命令

        scrapy crawl 爬虫文件名(即scrapy genspider example example.com)# 即example

      2.创建执行文件

      1)在项目下新建start执行文件

      2)输入代码

      

      3.在爬虫文件中创建main函数

  • 相关阅读:
    MAC记住 git的用户名密码
    webpack初学踩坑记
    __dirname和__filename和process.cwd()三者的区别
    webpack
    日期格式在ios中的兼容性
    php实现导出excel功能
    node 之koa项目学习
    nodejs之socket.io 私发消息和选择群组发消息
    nodejs之socket.io 聊天实现
    mongoDB基础语法
  • 原文地址:https://www.cnblogs.com/guozepingboke/p/10755075.html
Copyright © 2011-2022 走看看