zoukankan      html  css  js  c++  java
  • 安装scrapy 爬虫框架

     安装scrapy 爬虫框架

    个人根据学习需要,在Windows搭建scrapy爬虫框架,搭建过程种遇到个别问题,共享出来作为记录。

    1.安装python 2.7

    1.1下载

    下载地址

    1.2配置环境变量

    以下内容添加到PATH中

    C:Python27;C:Python27Scripts;

    打开CMD运行如下内容:

    c:python27python.exe c:python27	oolsscriptswin_add2path.py

    1.3检验是否成功

    python --version

    2.检查pip

    python安装过程中,会把pip安装好

    查看方法CMD输入

    pip --version

    若未安装,请参考如下连接

    参考连接

    安装pywin32

    3.安装pywin32

    pip install pywin32

    4.安装Scrapy

    4.1安装命令

    pip install Scrapy

     4.2验证安装是否成功

    python

    >>>import scrapy

    不报错,则表示安装成功。

    4.3创建项目

    CMD切换要安装的目录下

    scrapy startproject tutorial

    运行成功后,该目录下生成如下文档结构

    tutorial/
        scrapy.cfg
        tutorial/
            __init__.py
            items.py
            pipelines.py
            settings.py
            spiders/
                __init__.py
                ...

    Scrapy爬虫框架搭建完成。

    5.常见问题

    5.1.缺少C++组件

    下载地址

    安装完成后,无需重启电脑。

    5.2.pip版本低

    执行如下命令进行升级

    python -m pip install  --upgrade pip

    参考:

    https://scrapy-chs.readthedocs.io

  • 相关阅读:
    python模拟shell
    10.LIKE 操作符
    9.TOP 子句--mysql limit
    8.INSERT INTO 语句 UPDATE 语句
    7.ORDER BY 子句
    6.AND & OR 运算符
    5.WHERE 子句
    4.SELECT DISTINCT 语句
    3.SELECT 语句
    2.sql分类
  • 原文地址:https://www.cnblogs.com/aongao/p/10423530.html
Copyright © 2011-2022 走看看