zoukankan      html  css  js  c++  java
  • 【问题】pyspider安装过程的一些问题

    第一个问题:
        环境信息为windows10 64位,原生python3.6环境,没有使用anaconda,使用pip install pyspider报egg错误


        解决方法:
        1. 安装wheel
            pip install wheel


        2. 下载pycurl
            地址在这里:https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
        3. 安装对应的版本amd为64位的
            pip install 刚才下载的文件的绝对路径


        4. 继续完成pyspider安装
            pip install pyspider


        5. 进入到某个目录,使用
            pyspider all
            启动pyspider
    天真的我以为到这里就OK了

    但是在开开心心创建第一个项目的时候,运行解析第二页

    遇到了第二个问题:

      python已停止工作

    此时我的内心是崩溃的

    解决办法:

    换成32位的Python

    参考链接:

    https://segmentfault.com/q/1010000006658325/a-1020000006659824

    一顿操作,搞定了32的python

    重新安装了pyspider

    然后启动pyspider的时候!!!!

    又报了第三个错误:某Win32 DLL不存在

    又是一顿操作,stackoverflow上给出了重新安装pywin32的方法

    然后我并没有按照着做,为了个Pyspider折腾坏其他依赖库就麻烦了

    还是用虚拟机吧

    最后的最后,我在windows上卸载了python环境,安装了一个anaconda,然后使用第一步的方法安装了pyspider,总算没有报错了

    然后撸了个脚本,抓了一大波宅男女神的图

    暂时告一段落

  • 相关阅读:
    easyui 自定义editor扩展 propertygrid
    springboot 整合redis
    springboot 整合mybatis
    SpringBoot 打包war,并在tomcat中发布
    c# cef3 模拟浏览器上传文件
    c# cef3 判断文件下载是否完成
    c# cef3 关闭浏览器弹出新窗口
    c# 利用cef3抓取京东关键词商品列表,以手机为例
    c# 搭建cef3模拟浏览器
    c# TreeView实现三种选中状态
  • 原文地址:https://www.cnblogs.com/copywang/p/7991266.html
Copyright © 2011-2022 走看看