zoukankan      html  css  js  c++  java
  • (5)分布式下的爬虫Scrapy应该如何做-windows下的redis的安装与配置

       软件版本:

       redis-2.4.6-setup-64-bit.exe — Redis 2.4.6 Windows Setup (64-bit)

      系统: 

      win7 64bit

      本篇的内容是为了给分布式下的爬虫做好预热的环境准备,我们知道单机的爬虫始终会有一个性能瓶颈,特别是对于是否爬过的URL来说,存在本地关系型的数据库始终会有一个性能上的考究,这里引入redis,可以很方便的通过集群来解决这个问题,在任何大的问题解决方案上,终究都是采取化整为零,分而治之的思想。如果你对于windows下的配置已经很熟悉了,本次内容可以完全略过。

      

    一,去GitHub上下载关于windows的redis的下载文件:

         地址:https://github.com/rgl/redis/downloads

    二,解压安装,下一步一步

    三,以管理员身份打开CMD,切入到redis的目录,比如我的目录为C:Program FilesRedis

    cd C:Program FilesRedis

    四,以目录形式打开文件夹,将C:Program FilesRedisConf下的redis.conf 配置文件复制到 C:Program FilesRedis 目录

    五,在命令行下输入:redis-server.exe redis.conf

     这个时候如果没有进一步报错的话,那就证明已经成功启动服务端了、

    六,现在我们以管理员身份启动另一下CMD命令,启动客户端:

    redis-cli.exe -h 127.0.0.1 -p 6379

    用过bash的应该都了解参数的大致意思了 -h host域名 -p port 端口号

    我们来简单的测试一下:

    set parm1 mytest 

    got parm1

    输出:

    mytest

    OK,windows下的安装就已经成功了,关于更高级一点的配置或者将爬虫融入到分布式中,我们下一次在细讲

  • 相关阅读:
    【python】浅谈包
    【python】浅谈encode和decode
    【python】环境变量的配置
    Android Studio中添加对HttpClient的支持包
    Android studio中2种build.gradle文件介绍
    服务器响应状态码
    Java UDP实现聊天功能代码【转】
    Java InetAddress.getByAddress()的使用
    IP地址分类(A类 B类 C类 D类 E类)
    Android App发布遇到的问题总结【转】
  • 原文地址:https://www.cnblogs.com/codefish/p/4939471.html
Copyright © 2011-2022 走看看