zoukankan      html  css  js  c++  java
  • windows系统安装Scrapy(实操)

    我的电脑环境:
    windows7,64位。已有python3。

    安装Scrapy步骤:
    安装python2.7-->安装pywin32-->安装pip-->安装lxml-->安装pyOpenSSL-->安装Scrapy

    一、安装python2.7
    我下载的是python2.7.9,双击安装即可。
    记得设置环境变量:c:Python27python.exe C:Python27 oolsScriptswin_add2path.py

    因为已安装了python3,涉及到python2和3版本的切换问题,参考下面链接:
    https://www.cnblogs.com/kechen/p/12186231.html

    二、安装pywin32
    pywin32作用:1.捕获窗口;2.模拟鼠标键盘动作;3.自动获取某路径下文件列表;4.PIL截屏功能
    下载地址:https://sourceforge.net/projects/pywin32/files/pywin32/Build 218/
    双击安装即可,会自动检测到python安装目录。

    测试是否安装成功:
    在python2中引入引入win32com测试,如果没有错误提示,说明安装成功:

    三、安装pip
    下载地址:https://pip.pypa.io/en/stable/installing/#installing-with-get-pip-py(其他地址也是可以的喔)

    我在安装pip的时候一直报错unable to create process using……,原因是同时安装了python2和3,为了方便切换版本,把exe执行文件改名了,所以pip一直安装不上。
    解决方法:
    若关联python2,注意需要把python2安装目录下的exe执行文件改为python.exe,即去掉2;
    同时,注意系统变量中,python2的变量应该写在python3变量前,否则cmd查询pip版本会报错。

    然后再执行pip的安装:
    在cmd命令窗口输入 cd pip的安装目录,执行:python setup.py install

    验证pip是否安装成功,cmd输入pip,或者输入pip --version:

    四、安装lxml(不建议直接通过pip命令安装,建议下载安装包)
    下载地址:https://pypi.org/project/lxml/#files
    1.进入文件下载到的文件夹位置,按住shift键的同时,空白处点击鼠标右键,在弹出菜单中选择“在此处打开命令窗口”。
    2.lxml为whl文件,需要确保已经安装了wheel库了才可以。
    这里又有一个大坑……
    使用pip install wheel,安装不上,报错Retrying (Retry(total=4, connect=None, read=None, redirect=None, status=None))
    解决方法:更换pip源

    更换pip源,网上有不少,我使用的是pypi.douban.com:
    安装wheel命令:
    pip install wheel -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

    wheel安装后就可以安装lxml啦~

    3.安装lxml
    pip install lxml-4.4.2-cp27-cp27m-win_amd64.whl

    注意:我安装的是python2.7,所以安装cp27版本的lxml;这里如果报错版本不一致,就要下载与python版本对应的lxml文件。

    4.可通过以下方法再次验证是否安装成功,没有报错就可以

    五、安装pyOpenSSL
    安装命令:pip install pyOpenSSL,仍出现报错Retrying (Retry(total=4, connect=None, read=None, redirect=None)),果断更换pip源再试一下:
    pip install pyOpenSSL -i http://pypi.douban.com/simple --trusted-host pypi.douban.com,安装成功:

    六、安装Scrapy
    终于到Scrapy了……
    安装命令:pip install Scrapy,安装失败。。
    更换pip源:pip install Scrapy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com,安装成功。_

    可以启动Scrapy啦

    安装工具的路上不断踩坑,与大家共勉。。

    你只管学习,上天会负责考量。
  • 相关阅读:
    javaEE_maven_struts2_tomcat_first
    企业框架-Spring
    MyBatis延迟加载及缓存
    MyBatis注解及动态Sql
    框架之MyBatis
    SQL中的一些关键字用法
    Mysql————基本sql语句
    表单验证
    java中的锁——列队同步器
    线程同步Lock锁
  • 原文地址:https://www.cnblogs.com/kechen/p/12190562.html
Copyright © 2011-2022 走看看