zoukankan      html  css  js  c++  java
  • 创建项目/执行

    创建项目

    一、创建项目

      1.conda创建环境

      1)安装anaconda后,使用conda向指定工作目录下创建虚拟环境;

      命令:conda create --prefix=w:work_prejectScrapy_projectvenv python=3.6

      解释:在工作目录下,首先创建conda 虚拟环境;

      2)安装Scrapy库

      步骤:

        1.激活虚拟环境        activate  w:work_projectScrapy_projectvenv  

        2.安装Scrapy           conda install Scrapy  

      2.Scrapy 创建项目

      1)进入爬虫项目工作目录,如video_project,建立爬虫项目 目录结构;

      步骤:

        1.进入video_project 项目,建立爬虫项目结构

          cd w:work_projectScrapy_project  

          scrapy startproject video_spider

      3.Scrapy 创建爬虫主程序

      1)进入爬虫项目 目录结构 建立爬虫主程序

      步骤:

        1.进入目录结构 spiders下,cd w:work_projectScrapy_projectvideo_spidervideo_spiderspiders

        2.建立主程序,scrapy genspider youku youku.com

         

    二、编辑项目

    三、执行项目

      1.使用命令

        scrapy crawl 爬虫文件名(即scrapy genspider example example.com)# 即example

      2.创建执行文件

      1)在项目下新建start执行文件

      2)输入代码

      

      3.在爬虫文件中创建main函数

  • 相关阅读:
    富文本的使用
    sql
    # 多线程:为啥无法避免并发修改异常?(假设有两个线程,线程A,线程B),怎么避免并发修改异常?
    File&&字节流
    IO-字符流
    第二周疑问点
    异常
    常用API-Object+String
    学习JavaSE过程中的疑问点(第一周)
    JavaOOP
  • 原文地址:https://www.cnblogs.com/guozepingboke/p/10755075.html
Copyright © 2011-2022 走看看