zoukankan      html  css  js  c++  java
  • Python—安装跟爬虫相关的包

    舆情爬虫分析:
    硬件:   4台服务器,分别放redis、python爬虫、mysql kafka四大板块。
    软件:
    1. mysql
    2. redis    #leap1  /usr/bin/redis-cli   /usr/bin/redis-server         redis 3.1.103  64 bit            
    3. python2.7.14+ 第三方插件:      
     redis
     scrapy
     scrapyd
     scrapyd-client
     scrapy_redis
     lxml
    4. kafka                          #leap1   /usr/leap/3.4.3.1/kafka/usr/lib/kafka/bin/kafka
    5. proxies: 阿布云购买"HTTP隧道",通行证书和通行密钥    IP资源池】

    Scrapy-redis的安装和使用

    Scrapy-Redis是Scrapy的分布式扩展模块,有了它,我们就可以方便地实现Scrapy分布式爬虫的搭建。
    GitHub:https://github.com/rmax/scrapy-redis
    PyPI:https://pypi.python.org/pypi/scrapy-redis
    官方文档:http://scrapy-redis.readthedocs.io

    一、安装Scrapy-Redis

    pip3 install scrapy-redis

    也可以下载wheel文件安装https://pypi.python.org/pypi/scrapy-redis#downloads

    测试:
    import scrapy_redis #不报错即可

    PS:pip install scrapy-redis   -i  https://pypi.tuna.tsinghua.edu.cn/simple/     #安装python第三方插件:scrapy-redis

    其他包,都用pip安装即可。

  • 相关阅读:
    linux升级node版本
    mysql视图
    mysql全文本搜索
    mysql数据处理函数
    mysql数据分组
    mysql组合查询
    Django添加生产环境配置
    费用保险单,如何失焦时自动补零
    div+css滚动条
    phpadmin导入数据提示文件最大限制的修改方法
  • 原文地址:https://www.cnblogs.com/Formulate0303/p/13183037.html
Copyright © 2011-2022 走看看