zoukankan      html  css  js  c++  java
  • 爬虫-Scrapy框架

    什么是Scrapy框架:Scrapy是一个Python爬虫框架,非常适合做一些大型爬虫项目,并且开发者利用这个框架,可以不用过多的关注细节。
    Scrapy的官网地址:http://scrapy.org/
    安装Scrapy框架及各种常见错误解决技巧:
    少坑版安装方式:由于Scrapy框架涉及太多依赖库,在此,如果想省事的朋友,可以按照这种方式去安装。如果想了 解具体过程的朋友,可以先安装pip install scrapy,然后遇到错误参加后面的方式解决。
    接下来讲解少坑安装方式。
    0、开个VPN或者采用本地安装方式 1、首先,升级pip:
    python -m pip install --upgrade pip 2、安装Visual Studio 2015专业版,去 http://download.microsoft.com/download/B/8/9/B898E46E-CBAE-4045-A8E22D33DD36F3C4/vs2015.pro_chs.iso下载
    3、安装lxml---去http://www.lfd.uci.edu/~gohlke/pythonlibs/
    找“lxml-”、pip install wheel、pip install lxml-3.6.4-cp35-cp35m-win_amd64.whl
    4、pip install scrapy或pip install scrapy==1.1.0rc3
     
     
     
  • 相关阅读:
    android实现 服务器功能
    jQuery部分源码帮助理解
    jquery 2.0.3代码结构
    Mac下配置JAVA_HOME
    用户环境变量
    你的apk有多不安全
    JadClipse eclipse反编译插件
    vim 使用笔记
    Makefile简易模板
    Linux watch 监控系统状态
  • 原文地址:https://www.cnblogs.com/zxzx1/p/10903024.html
Copyright © 2011-2022 走看看