zoukankan      html  css  js  c++  java
  • python3.6安装Scrapy

    环境:win10(64位), Python3.6(64位)

    1、安装pyhthon

    这个就不多说了,对应版本就下载对应的依赖包

    2、安装pywin32

    在windows下,必须安装pywin32,安装地址:http://sourceforge.net/projects/pywin32/

    下载对应版本的pywin32,直接双击安装即可,安装完毕之后验证:

    (注意:pywin32版本跟随Python版本,即如果win是64位,但python是32位,pywin32要装32位的)

    安装pywin32需要把Python的路径写入注册表中,运行下面脚本:

    # -*- coding: utf-8 -*-
    # Run from the command window (Run as Administrator!):
    # python registerPython.py
    
    # script to register Python 2.0 or later for use with win32all
    # and other extensions that require Python registry settings
    #
    # written by Joakim Löw for Secret Labs AB / PythonWare
    #
    # source:
    # http://www.pythonware.com/products/works/articles/regpy20.htm
    
    import sys
    
    from _winreg import *
    
    # tweak as necessary
    version = sys.version[:3]
    installpath = sys.prefix
    installpath = "D:Program FilesPython36"  # 注意这里是python安装路径
    
    regpath = "SOFTWARE\Python\Pythoncore\%s\" % (version)
    installkey = "InstallPath"
    pythonkey = "PythonPath"
    pythonpath = "%s;%s\Lib\;%s\DLLs\" % (
        installpath, installpath, installpath
    )
    
    def RegisterPy():
        try:
            reg = OpenKey(HKEY_LOCAL_MACHINE, regpath)
        except EnvironmentError:
            try:
                print("No Key Found, attempting to register")
                reg = CreateKey(HKEY_LOCAL_MACHINE, regpath)
                SetValue(reg, installkey, REG_SZ, installpath)
                SetValue(reg, pythonkey, REG_SZ, pythonpath)
                CloseKey(reg)
            except:
                print("*** Unable to register!")
                return
            print("--- Python", version, "is now registered!")
            return
        if (QueryValue(reg, installkey) == installpath and
            QueryValue(reg, pythonkey) == pythonpath):
            CloseKey(reg)
            print("=== Python", version, "is already registered!")
            return
        CloseKey(reg)
        print("*** Unable to register!")
        print("*** You probably have another Python installation!")
    
    if __name__ == "__main__":
        RegisterPy()
    pythonregistry.py

    我在装pywin32的时候出现个很蛋疼的情况,我先下载了64位的,安装提示'python 3.6-32'注册表未找到,试了下装32位的竟然成功了(明显是不能用,蛋碎一地-,-)。

    后来发现问题,64位的提示的是‘Python 3.6-32’,有没有发现什么? ‘36-32’!!!so,我把注册表里python下面的3.6直接改名成3.6-32,安装成功...

    3、安装pip

    常识,不多说了,上篇有提到

    4、安装pyOPENSSL

    在Windows下,是没有预装pyOPENSSL的

    安装地址:https://launchpad.net/pyopenssl

    (可以直接pip安装,但版本不一定新,如果不行再上官网)

    5、安装lxml

    解析XML的库,很强大,做爬虫BS4,selenium,XPATH都会用到

    直接pip安装

    pip install lxml

    6、安装Twisted

    这个其实在安装Scrapy的时候会自动安装,但是他需要visual C++ Build Tools 2015,无奈网速不给力实在下不下来,所以自己安装了

    网址:http://www.lfd.uci.edu/~gohlke/pythonlibs/,这里是已经编译好的,可以直接pip安装(需要wheel)

    7、安装Scrapy

    终于在最后一步,折腾了一晚上....

    pip install Scrapy

    so easy 是不是=.=

    pip 会另外下载其他依赖的包,这些就不要我们手动安装啦,等待一会,大功告成!

     

    最后验证一下,命令行下输入:Scrapy

    打完收功==!

  • 相关阅读:
    1.1.28 文字所在段落增加下划线
    Microsoft Project 2010基础使用方法
    16.3 将Win7文档的内容到复制Linux的vi中
    3.4 在Word中的公式和序号之间填充连续的点
    18.25 JLink调试程序步骤
    18.24 Ubuntu修改静态IP
    18.23 inline函数功能
    18.22 sprintf函数功能
    18.21 关键字extern
    18.20 频率单位转换
  • 原文地址:https://www.cnblogs.com/thunderLL/p/6523802.html
Copyright © 2011-2022 走看看