zoukankan      html  css  js  c++  java
  • Scrapy学习1:安装

    Install Scrapy

    熟悉PyPI的话,直接一句

    pip install Scrapy
    

    但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。

    我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。

    sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
    

    先执行上面命令安装lxml和cryptography的依赖库。

    如果是想在Python3上安装scrapy,还需要输入

    sudo apt-get install python3 python3-dev
    

    最后一步

    pip install scrapy
    

    安装完成

    不要用Ubuntu提供的python-scrapy包来安装,不方便获取最新scrapy。

    Using a virtual environment

    官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单

    sudo pip install virtualenv
    

    简单介绍下virtualenv的使用。要创建一个虚拟环境,我们输入:

    virtualenv ENV
    

    这样一个放置在ENV文件夹的虚拟环境就搭好了

    搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。

    cd ENV
    source bin/activate
    

    如果成功进入虚拟环境,你可以看到最前面出现了一个(env)提示符,比如下面这样的。

    (env)ubuntu@VM-197-0-ubuntu:~/env/bin$ 
    

    然后正常安装scrapy就可以了。

    要退出虚拟环境,只要

    deactivate
    

    Reference:

    Scrapy Doc

    Scrapy Github

    virtualenv Doc

  • 相关阅读:
    分组声明
    描述项目的典型用户与场景
    用户调研
    10-11-12
    Sprint--5.21
    Cosplay之孩子的妈咪
    作业5.1之5.2
    51nod 1393 1393 0和1相等串
    51nod 1090 3个数和为0(排序+二分)
    51nod 1095 Anigram单词(map的使用)
  • 原文地址:https://www.cnblogs.com/pusidun/p/7170663.html
Copyright © 2011-2022 走看看