zoukankan      html  css  js  c++  java
  • 二 web爬虫,scrapy模块以及相关依赖模块安装

    当前环境python3.5 ,windows10系统

    Linux系统安装

    在线安装,会自动安装scrapy模块以及相关依赖模块

    pip install Scrapy

    手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

    安装以下模块

    1、lxml-3.8.0.tar.gz (XML处理库

    2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

    3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

    4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

    5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

    6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

    7、cryptography-2.0.tar.gz (密码学是一种包)

    8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

    9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

    10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

    11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

    12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

    13、pycparser-2.18.tar.gz (C解析器在Python中)

    windows系统安装

    windows安装,首先要安装pywin32,根据自己的系统来安装32位还是64位

    pywin32-221.win32-py3.5.exe

    pywin32-221.win-amd64-py3.5.exe

    在线安装

    pip install Scrapy

    手动源码安装,比较麻烦要自己手动安装scrapy模块以及依赖模块

    安装以下模块

    1、lxml-3.8.0.tar.gz (XML处理库

    2、Twisted-17.5.0.tar.bz2 (用Python编写的异步网络框架)

    3、Scrapy-1.4.0.tar.gz (高级web爬行和web抓取框架)

    4、pyOpenSSL-17.2.0.tar.gz (OpenSSL库)

    5、queuelib-1.4.2.tar.gz (Queuelib是用于Python的持久(基于磁盘的)队列的集合)

    6、w3lib-1.17.0.tar.gz (与web相关的函数的Python库)

    7、cryptography-2.0.tar.gz (密码学是一种包)

    8、pyasn1-0.2.3.tar.gz (ASN类型和编解码器)

    9、pyasn1-modules-0.0.9.tar.gz (ASN的集合。基于协议模块)

    10、cffi-1.10.0.tar.gz (用于Python调用C代码的外部函数接口)

    11、asn1crypto-0.22.0.tar.gz (快速的ASN一个解析器和序列化器)

    12、idna-2.5.tar.gz (应用程序中的国际化域名(IDNA))

    13、pycparser-2.18.tar.gz (C解析器在Python中)

    测试是否安装成功

    在cmd终端,运行python

    然后运行:import scrapy  ,没有提示错误说明安装成功

  • 相关阅读:
    linux中你会新建复制移动删除文件或目录吗?三分钟搞懂【文件管理】
    从此英语渣渣也能看懂man手册-【linux man手册汉化安装使用教程】
    你真的会用ls命令吗?--文件管理命令(ls命令详解)
    Python算法系列—深度优先遍历算法【二叉树】
    Python算法系列-单词匹配模式【hash练习】
    abp 从4.3升级到5.4 从入门到放弃
    ABP core2.2错误笔记2,持续更新
    echart报错: Component series.XXX not exists. Load it first
    单例模式MQTT服务为什么会重复收到消息
    在ABP core中使用RabbitMq
  • 原文地址:https://www.cnblogs.com/meng-wei-zhi/p/8182456.html
Copyright © 2011-2022 走看看