Sidekiq in Rails

介绍

Sidekiq 是一个多线程的后台任务处理系统, 在其出来以前, 还存在一个名为 Resque 产品(Github 制造), 因为 Resque 是多进程模型, 所以当任务量变多的时候, Resque 所消耗的内存资源会非常的大, 所以就有了借助 Celluoid 来完成多线程形式的 Reqsue 也就是今天的 Sidekiq (2.15.xx)

基本架构

Job

在 Sidekiq 中的 Job 指的是某一个任务的一次执行, 注意与我们通常意义上说 “一个 Job” 指的是一类 Job.

Worker

因为 Sidekiq 是使用 Celluoid 来完成其多线程的控制的, 而 Celluoid 是 Ruby 中的多线程模式 Actor 模式的实现, 所以在 Sidekiq 中的 Worker 我们以拟人的方式去理解. 我拥有一个工人, 不过有一点要区分的是这些 Worker 都是按照”操作手册”在执行任务, 所以他不会被限制在某一类任务上.

Queue

队列的意义在于区分任务并且让任务排队, Sidekiq 中将每一类的任务使用一个 Queue 来区分开.

Redis Server

指存储任务的 Redis 来源, 在 Sidekiq 2.x 时代其有一个瓶颈就是无论多少个 Sidekiq Instance 但只能拥有一个 Redis Server, 也就是任务处理的最大速度被限制在了单台 Redis 服务器每秒的处理速度, 大约在 5000 job/s, 但是在 Sidekiq 3.0 以后, 其扩展了 redis_pool 的参数, 每一个 Worker 可以选择使用 Redis Server.

Redis Client

Redis 作为一个任务提交者, 透过 Worker 向指定的 Redis Client 中提交任务.

开发环境

ubuntu 12.4, ruby 2.12, rails 4.1.1 ,redis 3.0.7 ,sidekiq 3.1.3

安装配置

• Gemfile添加 ：

gem "redis", "~> 3.0.7"
 
gem 'sidekiq'
 
gem 'sinatra' # 用于使用自带的监控页面

• 在initializers下新建sidekiq.rb文件，用来初始化Redis和Sidekiq config。 initializers/sidekiq.rb ：

redis_server = '127.0.0.1' # redis服务器
redis_port = 6379 # redis端口
redis_db_num = 0 # redis 数据库序号
redis_namespace = 'highlander22_sidekiq' #命名空间，自定义的
 
Sidekiq.configure_server do |config|
  p redis_server  # 这个可以去掉
  config.redis = { url: "redis://#{redis_server}:#{redis_port}/#{redis_db_num}", namespace: redis_namespace }
end
 
Sidekiq.configure_client do |config|
  config.redis = { url: "redis://#{redis_server}:#{redis_port}/#{redis_db_num}", namespace: redis_namespace }
end

• sidekiq 启动配置文件 config/sidekiq.yml:

:concurrency: 5 # 并发数
:pidfile: tmp/pids/sidekiq.pid
:logfile: ./log/sidekiq.log # 输出的日志地址
:queues:
- default # 写在队列参数中的, 表示让 sidekiq 处理这个 queue
- [myqueue, 2] # 使用数组的形式写, 第一个参数为打开的 queue 的名称, 第二个为优先级
 
development:
:concurrency: 5
staging:
:concurrency: 10
production:
:concurrency: 20

• 首先将 worker 类放到 app/workers文件夹，app/workers/hard_worker.rb:

class HardWorker
  include Sidekiq::Worker
 
  def perform(name, count)
     # do somethings
     puts 'Doing hard work'
  end
end

• 在控制器 action 或者 model 中调用 HardWorker.perform_async:

HardWorker.perform_async('bob', 5)

• sidekiq 配置参数 命令后加上 --help 可以看到其配置参数：

richard@richard:~/ipucc/blog$ bundle exec sidekiq --help
2014-06-12T10:16:35Z 22651 TID-6dezc INFO: sidekiq [options]
-c, --concurrency INT processor threads to use
-d, --daemon Daemonize process
-e, --environment ENV Application environment
-g, --tag TAG Process tag for procline
-i, --index INT unique process index on this machine
-q, --queue QUEUE[,WEIGHT] Queues to process with optional weights
-r, --require [PATH|DIR] Location of Rails application with workers or file to require
-t, --timeout NUM Shutdown timeout
-v, --verbose Print more verbose output
-C, --config PATH path to YAML config file
-L, --logfile PATH path to writable logfile
-P, --pidfile PATH path to pidfile
-V, --version Print version and exit
-h, --help Show help

配置好这些东西，就可以对刚才写的HardWorker进行测试了。

使用

首先，要启动Sidekiq

需要在rails项目目录下启动

可以通过linux cli的方式，使用添加参数来启动sidekiq: bundle exec sidekiq -q queue_name_1,queue_name_2
也可以将这些参数放到yml中，通过 -C 参数来启动: bundle exec sidekiq -C config/sidekiq.yml
也可以直接: sidekiq 或者 bundle exec sidekiq -e production
-r : 指定需要引入的那些自定义 worker 以及相关的 ruby 代码
-C : 指定配置文件的路径. 如果配置文件路径为 config/sidekiq.yml 则可忽略这个参数
-e : 指定当前的 sidekiq 以什么环境进行运行. (控制了使用什么配置信息)

richard@richard:~/ipucc/blog$ sidekiq

         s
        ss
   sss  sss         ss
   s  sss s   ssss sss   ____  _     _      _    _
   s     sssss ssss     / ___|(_) __| | ___| | _(_) __ _
  s         sss         \___ \| |/ _` |/ _ \ |/ / |/ _` |
  s sssss  s             ___) | | (_| |  __/   <| | (_| |
  ss    s  s            |____/|_|\__,_|\___|_|\_\_|\__, |
  s     s s                                           |_|
        s s
       sss
       sss 

　　

使用Rails Console进行测试

richard@richard:~/ipucc/blog$ rails c
Loading development environment (Rails 4.1.1)
2.1.2 :002 > HardWorker.perform_async 'Hello World', 1 # 调用perform
=> "2f68a6b62418f34670b6afdc"
2.1.2 :003 >

使用自带的监控页面

route.rb 添加 ：

require 'sidekiq/web'
mount Sidekiq::Web => '/sidekiq'

访问 http://localhost:3000/sidekiq/retries 进入监控页面

这样，就可以在页面上看到sidekiq的运行情况了。更多详情见：sidekiq Monitoring