zoukankan      html  css  js  c++  java
  • Scrapy学习1:安装

    Install Scrapy

    熟悉PyPI的话,直接一句

    pip install Scrapy
    

    但是有时候需要处理安装依赖,不能直接一句命令就安装结束,这个和系统有关。

    我用的Ubuntu,这里仅介绍Ubuntu12.04及以上的版本。

    sudo apt-get install python-dev python-pip libxml2-dev libxslt1-dev zlib1g-dev libffi-dev libssl-dev
    

    先执行上面命令安装lxml和cryptography的依赖库。

    如果是想在Python3上安装scrapy,还需要输入

    sudo apt-get install python3 python3-dev
    

    最后一步

    pip install scrapy
    

    安装完成

    不要用Ubuntu提供的python-scrapy包来安装,不方便获取最新scrapy。

    Using a virtual environment

    官方文档推荐在虚拟环境下安装scrapy。虚拟环境下安装不容易和全局环境下的python包发生冲突。安装Virtual environment(virtualenv)很简单

    sudo pip install virtualenv
    

    简单介绍下virtualenv的使用。要创建一个虚拟环境,我们输入:

    virtualenv ENV
    

    这样一个放置在ENV文件夹的虚拟环境就搭好了

    搭好后还需要激活(activate)我们才能进入虚拟环境。脚本在/ENV/bin下。

    cd ENV
    source bin/activate
    

    如果成功进入虚拟环境,你可以看到最前面出现了一个(env)提示符,比如下面这样的。

    (env)ubuntu@VM-197-0-ubuntu:~/env/bin$ 
    

    然后正常安装scrapy就可以了。

    要退出虚拟环境,只要

    deactivate
    

    Reference:

    Scrapy Doc

    Scrapy Github

    virtualenv Doc

  • 相关阅读:
    使用gulp搭建一个传统的多页面前端项目的开发环境
    抓包工具使用
    selectors 模块
    I/O模型
    协程
    进程池
    进程的同步
    进程间通讯的三种方式
    多进程调用
    生产者消费者模型
  • 原文地址:https://www.cnblogs.com/pusidun/p/7170663.html
Copyright © 2011-2022 走看看