zoukankan      html  css  js  c++  java
  • Python 数据爬取(环境变量)

    Python 数据爬取(环境变量)

    配置scrapy:

    进入setting ——>Project Interpreter——>点击+——>搜索scrapy——>Install Package下载

    Anaconda3配置环境变量

    1)D:installationBigDatajavaAnaconda3 2)D:installationBigDatajavaAnaconda3Scripts 3)D:installationBigDatajavaAnaconda3Libraryin

    准备爬虫

    1)使用Anaconda安装Scrapy:

    C:UsersTUDOUSI>conda install scrapy

    2)在C盘PycharmProjects创建ScrapyDemo

    C:UsersTUDOUSIPycharmProjectsScrapyDemoscrapydemo

    3)在ScrapyDemo中创建scrapydemo(工程目录)

    C:UsersTUDOUSIPycharmProjectsScrapyDemoscrapydemo

    4)在scrapydemo下创建scrapy项目

    ①C:UsersTUDOUSIPycharmProjectsScrapyDemo>scrapy startproject scrapydemo

    ②C:UsersTUDOUSIPycharmProjectsScrapyDemo>7cd scrapydemo

    5)创建Spider(爬虫)

    C:UsersTUDOUSIPycharmProjectsScrapyDemoscrapydemo>scrapy genspider demo kgc.cn

    6)进入pc——>open——>scrapydemo

    Debug爬虫工程

    在项目根目录添加脚本文件调用Scrapy框架的命令行执行方法启动爬虫 cmdline模块 execute()方法

    from scrapy.cmdline import execute execute(xecrapy crawl example_spider'.split()) (example_spider:你的项目的名称)

    这样就可以了哈!

  • 相关阅读:
    java的异常抛出和String类常用方法
    监控工具zabbix
    监控工具nagios
    监控工具cacti
    LB集群
    高可用集群(HA)配置
    vsftp虚拟用户登录配置详解
    Ubuntu中设置静态IP和DNS(转载)
    虚拟机克隆linux系统后需要做的网络设置
    CentOS 6.8编译安装httpd2.2.31+MySQL5.6.31+PHP5.3.27
  • 原文地址:https://www.cnblogs.com/tudousiya/p/11355081.html
Copyright © 2011-2022 走看看