zoukankan      html  css  js  c++  java
  • 基于python的scrapy环境搭建




     0.1 安装python软件

          32位机的电脑安装python-3.6.3.exe

          64位机的电脑安装python-3.6.3-amd64.exe

       0.1.1 python环境搭建

                 执行安装程序

    clip_image002


              选择Add Python 3.6 to PATH,然后点击Customize installation

    clip_image004


             确保所有的选项都被选中,然后点击Next

    clip_image006

          

              选择Install for all users,然后定制自己的安装路径。点击Install按钮

               安装完成后,启动cmd命令行(需要在管理员界面进入)。

    clip_image008

            输入python命令,如果出现>>>提示符,就表示python程序已经安装正确并程序进入python命令行。

    clip_image010

              编写helloworld程序。

                      print('hello')

    clip_image012

                      如果想要退出python命令,回到DOS命令行,可以在python命令行中按Ctrl+Z回车。

    clip_image014

    0.1.2 安装python插件

          假设我们需要安装一个插件ipython,在cmd命令行下(需要管理员权限),输入

    前者从国外的网站装,后者从国内网站装,

    pip install ipython

    pip install ipython -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

    pip install numpy -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

            如果能够成功安装,启动ipython,在命令运行

    ipython

    尝试打印hello字样

    ipython中通过exit命令退出。

    clip_image016

    pip本身可以更新,使用如下命令:

    python -m pip install --upgrade pip

    clip_image018

    0.1.3安装ipython

    IPython可以理解为网页版的python,安装步骤如下:

    pip install ipython

    clip_image020

    此时,输入ipython,即可进入ipython的命令行

    clip_image022

    要使用网页版本,则需要安装jupyter

    pip install jupyter

    clip_image024

    然后输入

    jupyter notebook

    即可打开python的网页版本。

    Jupyter的主窗口显示的路径一般是你启动notebook时位于的路径下(通常在你的用户目录下)。主界面如下所示:

    clip_image026

    若要创建一个新的notebook,只需鼠标左击New,在下拉选项中选择一个你想启动的notebook类型即可。

    clip_image028

    比如选择python3

    然后在新的页面进行程序的编辑

    clip_image030

           注意该文件的后缀名为ipynb

            另外,也可以把其他人写好的ipynb文件拷贝到当前工作区下。刷新打开即可。



    0.1.4 安装selenium插件

         前者从国外的网站装,后者从国内网站装,

    pip install selenium

    pip install selenium -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

    0.1.5安装lxml库

        如果需要在python程序中应用xpath规则。使用lxml库(LXML)

    pip install lxml

    pip install lxml -i http://pypi.douban.com/simple --trusted-host pypi.douban.com

    0.1.6安装scrapy框架

          0.1.6.1安装pip3

        地址:

    https://blog.csdn.net/zytbft/article/details/72566197

    python3.6 安装pip3 官网下载,

    https://pypi.python.org/pypi/pip#downloads

    (也就是安装包中:pip-18.1.tar.gz 文件,)

    clip_image032

               然后解压到一个文件夹,用CMD控制台进入解压目录,依此输入:

                          1、python setup.py install

                           2、setup.py install

              然后,添加环境变量,我们在PATH最后添加:

                     D:Python36Scripts

             安装scrapy 最保守的方法

              参考网址    https://www.cnblogs.com/dalyday/p/9277212.html



    0.1.6.2安装 pywin32(文件夹中有)

         下载并安装 pywin32:

              进入https://sourceforge.net/projects/pywin32/files/,在目录点击pywin32,选择Build 221,找到自己对应版本的pywin32点击连接即可自己下载,

            安装:点击运行,按默认步骤点击下一步即可

              pywin32的作用:因为Python没有自带访问windows系统API的库的,需要下载第三方库。库的名称叫pywin32,可以从网上直接下载

            参考网址     https://sourceforge.net/projects/pywin32/files%2Fpywin32/

    (下载适合你的Python版本。

    比如build220里面的pywin32-221.win-amd64-py3.6.exe,并安装)



    0.1.6.3安装 wheel

              输入以下命令即可

              pip3 install wheel

    0.1.6.4下载twisted文件

        进入https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted

              点击对应版本下载,cmd进入下载目录,cmd执行一下命令

    64位机

              pip install Twisted-18.9.0-cp36-cp36m-win_amd64.whl

    32位机

               pip install Twisted-18.9.0-cp36-cp36m-win32.whl

    即可安装



    0.1.6.5安装scrapy
         0.1.6.6确认是否安装成功

             1 在cmd中进入 python

                      2 >>>import twisted

                      3 >>>import scrapy

    clip_image034

               没有异常则说明安装成功

                 三个步骤下来可以正常引入,即表明正常安装, 0.1.7运行python程序的方式

    目前运行python程序有3种方式:

                方式一:交互式编程

                      在DOS命令行中输入python命令后,将进入python命令行(前面有3个大于号提示符的)

    clip_image036

                    在python命令行下,即可输入python命令。如:

    clip_image038

            交互式编程一般只适用于测试简单的程序。比如通过pip install安装了某个包后,通过交互式命令行import 该包,看是否能正常导入之类的。交互式终端不适宜进行大量复杂的逻辑运算。

    方式二:脚本式编程。

              创建一个后缀名为py的脚本文件,在该文件中编写python脚本。比如创建hello.py,内容如下:

    print("hello")

    然后,通过python解释器执行。命令如下:

    python hello.py

    即可。

    方式三:在脚本中声明解释器(一般在Linux操作系统下使用)

    hello.py

    #!/usr/bin/python

    print("hello")

    然后,修改该脚本的权限为可执行。

    $ chmod +x hello.py

    再执行该脚本

    $ ./test.py

    0.1. 8 PyCharm

           PyCharm官网为: https://www.jetbrains.com/zh/pycharm/specials/pycharm/pycharm.html

        点击“立即下载”可以下载最新版pycharm。

    clip_image040

    下载后点击安装。并选择安装目录

    clip_image042

    选择64位系统(需要与python解释器对应),选择py后缀名。

    clip_image044

    安装完成后启动pycharm。首次启动需要把滑动条滑动到底部并同意协议

    clip_image046

    接下来需要输入激活码。在License Server中输入下面的其中一项。

    http://idea.imsxm.com/

    或打开该网址,找到注册码。

    注意:最近lanyu的激活码好像被封杀了。可以修改hosts文件(Windows的在C:WindowsSystem32driversetchosts),添加下面一行到hosts文件,目的是屏蔽掉Pycharm对激活码的验证

    0.0.0.0 account.jetbrains.com

    目前这个激活码有效期到2018年10月14日,之后再继续更新

    选择白底黑词或黑底白字(看个人习惯)

    clip_image048

    如果需要的话,可以选择下注需要的特征插件(featured plugins)。

    clip_image050

    点击右下角Start using PyCharm

    启动PyCharm后,选择Create New Project

    clip_image052

    选择Pure Python,和指定的安装目录

    clip_image054

    编写helloworld程序,首次运行时需要配置python解释器。点击编辑框右上角的提示,或通过File——Setting打开。

    clip_image056

    在Project interpreter对应的下拉列表中选择对应的解释器版本。

    clip_image058

    如果没有可以通过右上角的齿轮图案下拉选择Add Local。

    clip_image060

    并选择python解释器安装的路径。

    clip_image062

    配置成功后,即可运行程序了(首次运行可能会稍微的耗点时间)

  • 相关阅读:
    阅读进度条的实现
    获取radio选中的值
    Vue的学习(六)
    Vue的学习(三)
    C#委托详解
    C#泛型和非泛型
    C#装箱和拆箱
    C#内存泄漏的事例
    C#windows服务开发(一)
    C#windows服务开发
  • 原文地址:https://www.cnblogs.com/Raodi/p/11477647.html
Copyright © 2011-2022 走看看