zoukankan      html  css  js  c++  java
  • Scrapy学习1:安装

    Install Scrapy

    熟悉PyPI的话,直接一句

    pip install Scrapy
    

    但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。

    我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。

    sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
    

    先执行上面命令安装lxml和cryptography的依赖库。

    如果是想在Python3上安装scrapy,还需要输入

    sudo apt-get install python3 python3-dev
    

    最后一步

    pip install scrapy
    

    安装完成

    不要用Ubuntu提供的python-scrapy包来安装,不方便获取最新scrapy。

    Using a virtual environment

    官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单

    sudo pip install virtualenv
    

    简单介绍下virtualenv的使用。要创建一个虚拟环境,我们输入:

    virtualenv ENV
    

    这样一个放置在ENV文件夹的虚拟环境就搭好了

    搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。

    cd ENV
    source bin/activate
    

    如果成功进入虚拟环境,你可以看到最前面出现了一个(env)提示符,比如下面这样的。

    (env)ubuntu@VM-197-0-ubuntu:~/env/bin$ 
    

    然后正常安装scrapy就可以了。

    要退出虚拟环境,只要

    deactivate
    

    Reference:

    Scrapy Doc

    Scrapy Github

    virtualenv Doc

  • 相关阅读:
    1.2 偏差与方差
    深度学习中Xavier初始化
    1.1 训练/开发/测试集
    Python笔记(5)类__方法与继承
    Python笔记(4)类__属性与描述符
    Python笔记(3)迭代器与生成器
    Python笔记(2)函数
    线性回归 Linear Regression
    Python笔记(1)变量与表达式
    跳转到某个Activity
  • 原文地址:https://www.cnblogs.com/pusidun/p/7170663.html
Copyright © 2011-2022 走看看