基于HTTP协议的轻量级开源简单队列服务：HTTPSQS教程

zoukankan html css js c++ java

基于HTTP协议的轻量级开源简单队列服务：HTTPSQS教程
HTTPSQS（HTTP Simple Queue Service）是一款基于 HTTP GET/POST 协议的轻量级开源简单消息队列服务，使用 Tokyo Cabinet 的 B+Tree Key/Value 数据库来做数据的持久化存储。

　　项目网址：http://code.google.com/p/httpsqs/
　　使用环境：Linux（同时支持32位、64位操作系统，推荐使用64位操作系统）

　　队列（Queue）又称先进先出表（First In First Out），即先进入队列的元素，先从队列中取出。加入元素的一头叫“队头”，取出元素的一头叫“队尾”。利用消息队列可以很好地异步处理数据传送和存储，当你频繁地向数据库中插入数据、频繁地向搜索引擎提交数据，就可采取消息队列来异步插入。另外，还可以将较慢的处理逻辑、有并发数量限制的处理逻辑，通过消息队列放在后台处理，例如FLV视频转换、发送手机短信、发送电子邮件等。

　　HTTPSQS 具有以下特征：

　　● 非常简单，基于 HTTP GET/POST 协议。PHP、Java、Perl、Shell、Python、Ruby等支持HTTP协议的编程语言均可调用。
　　● 非常快速，入队列、出队列速度超过10000次/秒。
　　● 高并发，支持上万的并发连接，C10K不成问题。
　　● 支持多队列。
　　● 单个队列支持的最大队列数量高达10亿条。
　　● 低内存消耗，海量数据存储，存储几十GB的数据只需不到100MB的物理内存缓冲区。
　　● 可以在不停止服务的情况下便捷地修改单个队列的最大队列数量。
　　● 可以实时查看队列状态（入队列位置、出队列位置、未读队列数量、最大队列数量）。
　　● 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。
　　● 查看队列内容时，支持多字符集编码。
　　● 源代码不超过800行，适合二次开发。

　　

　　1、HTTPSQS 1.7 压力测试：

　　采用Apache ab命令进行压力测试，开启10个线程，放入10万条文本数据（每条512字节）到队列中:
　　使用HTTP Keep-Alive时：23018 requests/sec
　　关闭HTTP Keep-Alive时：11840 requests/sec

　　采用Apache ab命令进行压力测试，开启10个线程，从队列中取出10万条文本数据（每条512字节）:
　　使用HTTP Keep-Alive时：25982 requests/sec
　　关闭HTTP Keep-Alive时：13294 requests/sec

　　详细测试内容：http://code.google.com/p/httpsqs/wiki/BenchmarkTest

　　3、HTTPSQS 编译安装：

ulimit -SHn 65535

wget http://httpsqs.googlecode.com/files/libevent-2.0.12-stable.tar.gz
tar zxvf libevent-2.0.12-stable.tar.gz
cd libevent-2.0.12-stable/
./configure --prefix=/usr/local/libevent-2.0.12-stable/
make
make install
cd ../

wget http://httpsqs.googlecode.com/files/tokyocabinet-1.4.47.tar.gz
tar zxvf tokyocabinet-1.4.47.tar.gz
cd tokyocabinet-1.4.47/
./configure --prefix=/usr/local/tokyocabinet-1.4.47/
#注：在32位Linux操作系统上编译Tokyo cabinet，请使用./configure --enable-off64代替./configure，可以使数据库文件突破2GB的限制。
#./configure --enable-off64 --prefix=/usr/local/tokyocabinet-1.4.47/
make
make install
cd ../

wget http://httpsqs.googlecode.com/files/httpsqs-1.7.tar.gz
tar zxvf httpsqs-1.7.tar.gz
cd httpsqs-1.7/
make
make install
cd ../

　　4、HTTPSQS 服务器使用文档：

　　

　　[root@xoyo ~]# httpsqs -h

-l <ip_addr> 监听的IP地址，默认值为 0.0.0.0
-p <num> 监听的TCP端口（默认值：1218）
-x <path> 数据库目录，目录不存在会自动创建（例如：/opt/httpsqs/data）
-t <second> HTTP请求的超时时间（默认值：3）
-s <second> 同步内存缓冲区内容到磁盘的间隔秒数（默认值：5）
-c <num> 内存中缓存的最大非叶子节点数（默认值：1024）
-m <size> 数据库内存缓存大小，单位：MB（默认值：100）
-i <file> 保存进程PID到文件中（默认值：/tmp/httpsqs.pid）
-a <auth> 访问HTTPSQS的验证密码（例如：mypass123）
-d 以守护进程运行
-h 显示这个帮助

　　示例：

ulimit -SHn 65535
httpsqs -d -p 1218 -x /data0/queue

　　请使用命令“killall httpsqs”、“pkill httpsqs”和“kill `cat /tmp/httpsqs.pid`”来停止httpsqs。

　　注意：请不要使用命令“pkill -9 httpsqs”和“kill -9 httpsqs的进程ID”来结束httpsqs，否则，内存中尚未保存到磁盘的数据将会丢失。

　　5、HTTPSQS 客户端使用文档：

　　(1)、入队列（将文本消息放入队列）：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=put&data=经过URL编码的文本消息&auth=mypass123"

　　HTTP POST 协议（以curl命令为例）：

curl -d "经过URL编码的文本消息" "http://host:port/?name=your_queue_name&opt=put&auth=mypass123"

　　以浏览器为例：
　　

　　如果入队列成功，返回：

HTTPSQS_PUT_OK

　　如果入队列失败，返回：

HTTPSQS_PUT_ERROR

　　如果队列已满，返回：

HTTPSQS_PUT_END

　　从HTTPSQS 1.2版本开始，在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”，输出当前队列的读取位置点，例如：

HTTP/1.1 200 OK
Content-Type: text/plain
Keep-Alive: 120
Pos: 19
Date: Thu, 18 Mar 2010 04:57:08 GMT
Content-Length: 14

HTTPSQS_PUT_OK

　　(2)、出队列（从队列中取出文本消息）：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=get&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=get&auth=mypass123"

　　以浏览器为例：
　　

　　返回消息队列的内容给客户端。

　　如果没有未取出的消息队列，则返回：

HTTPSQS_GET_END

　　从HTTPSQS 1.2版本开始，在返回给客户端的HTTP Header头中增加了一行“Pos: xxx”，输出当前队列的读取位置点，例如：

HTTP/1.1 200 OK
Content-Type: text/plain; charset=utf-8
Keep-Alive: 120
Pos: 7
Date: Thu, 18 Mar 2010 04:56:01 GMT
Content-Length: 18

消息队列内容

　　参数charset说明（例如：/?charset=utf-8）：
　　指定HTTP输出Header头的字符编码，即：
　　Content-Type: text/plain; charset=utf-8

　　任何在IANA注册的字符编码均可使用，但是，并不是所有的浏览器都能解析全部的字符编码。对于中文，常用的字符编码有：utf-8、gb2312、gbk、gb18030、big5等。

　　(3)、查看队列状态（普通方式，便于浏览器查看）：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=status&auth=mypass123"

　　返回（示例）：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (1st lap): 45
Get position of queue (1st lap): 6
Number of unread queue: 39

　　如果“队列写入点值”大于“最大队列数量值”，将重置“队列写入点”为1，即又从1开始存储新的队列内容，覆盖原来队列位置点的内容：

HTTP Simple Queue Service v1.7
------------------------------
Queue Name: xoyo
Maximum number of queues: 1000000
Put position of queue (2st lap): 4562
Get position of queue (1st lap): 900045
Number of unread queue: 104517

　　以浏览器为例：
　　

　　(4)、查看队列状态（JSON方式，便于程序处理返回内容）：

　　从HTTPSQS 1.3版本开始支持此功能。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=status_json&auth=mypass123"

　　返回（示例）：

{"name":"xoyo","maxqueue":1000000,"putpos":45,"putlap":1,"getpos":6,"getlap":1,"unread":39}

　　如果“队列写入点值”大于“最大队列数量值”，将重置“队列写入点”为1，即又从1开始存储新的队列内容，覆盖原来队列位置点的内容：

{"name":"xoyo","maxqueue":1000000,"putpos":4562,"putlap":2,"getpos":900045,"getlap":1,"unread":104517}

　　(5)、查看指定队列位置点的内容：

　　跟一般的队列系统不同的是，HTTPSQS 可以查看指定队列ID（队列点）的内容，包括未出、已出的队列内容。可以方便地观测进入队列的内容是否正确。

　　另外，假设有一个发送手机短信的队列，由客户端守护进程从队列中取出信息，并调用“短信网关接口”发送短信。但是，如果某段时间“短信网关接口”有故障，而这段时间队列位置点300~900的信息已经出队列，但是发送短信失败，我们还可以在位置点300~900被覆盖前，查看到这些位置点的内容，作相应的处理。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?charset=utf-8&name=your_queue_name&opt=view&pos=5&auth=mypass123"

curl "http://host:port/?charset=gb2312&name=your_queue_name&opt=view&pos=19&auth=mypass123"

　　pos >=1 并且 <= 1000000000

　　返回指定队列位置点的内容。

　　(6)、重置指定队列：

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=reset&auth=mypass123"

　　如果重置成功，返回：

HTTPSQS_RESET_OK

　　如果重置失败，返回：

HTTPSQS_RESET_ERROR

　　(7)、更改指定队列的最大队列数量：

　　默认的最大队列长度（100万条）：1000000

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=maxqueue&num=1000000000&auth=mypass123"

　　num >=10 并且 <= 1000000000

　　如果更改最大队列数量成功，则返回：

HTTPSQS_MAXQUEUE_OK

　　更改的最大队列数量必须大于当前的“队列写入点”。另外，当“队列写入点”小于“队列读取点”时（即PUT位于圆环的第二圈，而GET位于圆环的第一圈时），本操作将被取消，然后返回给客户端以下信息：

HTTPSQS_MAXQUEUE_CANCEL

　　(8)、不停止服务的情况下，修改定时刷新内存缓冲区内容到磁盘的间隔时间：

　　从HTTPSQS 1.3版本开始支持此功能。

　　默认间隔时间：5秒或 httpsqs -s <second> 参数设置的值。

　　HTTP GET 协议（以curl命令为例）：

curl "http://host:port/?name=your_queue_name&opt=synctime&num=10&auth=mypass123"

　　num >=1 and <= 1000000000

　　如果修改间隔时间成功，则返回：

HTTPSQS_SYNCTIME_OK

　　如果 num 不在 1 ～ 1000000000 之间，本操作将被取消，然后返回给客户端以下信息：

HTTPSQS_SYNCTIME_CANCEL

　　(9)、密码校验失败：

　　从HTTPSQS 1.5版本开始支持此功能。

　　如果密码校验失败（/?auth=xxx），将返回以下信息：

HTTPSQS_AUTH_FAILED

　　(10)、全局错误：

　　如果发生全局错误（即指令、参数错误等），将返回以下信息：

HTTPSQS_ERROR

　　6、HTTPSQS 客户端

　　(1)、PHP 客户端说明文档：

　　A、PHP 客户端扩展（第三方提供，详情请访问：http://code.google.com/p/php-httpsqs-client/）

　　B、PHP 客户端 Class 文件（官方提供：适用于 HTTPSQS 1.7 以上版本，推荐使用。）

　　查看 PHP Class 源代码：httpsqs_client.php

　　PHP Client 所有函数使用示例：test_example.php

　　PHP Client 命令行运行示例：test_commandline.php

　　用法：
<?php

include_once("httpsqs_client.php");

$httpsqs = new httpsqs($httpsqs_host, $httpsqs_port, $httpsqs_auth, $httpsqs_charset);



/*

1. 将文本信息放入一个队列（注意：如果要放入队列的PHP变量是一个数组，需要事先使用序列化、json_encode等函数转换成文本）

    如果入队列成功，返回布尔值：true

    如果入队列失败，返回布尔值：false

*/

$result = $httpsqs->put($queue_name, $queue_data);



/*

2. 从一个队列中取出文本信息

    返回该队列的内容

    如果没有未被取出的队列，则返回文本信息：HTTPSQS_GET_END

    如果发生错误，返回布尔值：false

*/

$result = $httpsqs->get($queue_name);



/*

3. 从一个队列中取出文本信息和当前队列读取点Pos

    返回数组示例：array("pos" => 7, "data" => "text message")

    如果没有未被取出的队列，则返回数组：array("pos" => 0, "data" => "HTTPSQS_GET_END")

    如果发生错误，返回布尔值：false

*/

$result = $httpsqs->gets($queue_name);



/*

4. 查看队列状态（普通方式）

*/

$result = $httpsqs->status($queue_name);



/*

5. 查看队列状态（JSON方式）

    返回示例：{"name":"queue_name","maxqueue":5000000,"putpos":130,"putlap":1,"getpos":120,"getlap":1,"unread":10}

*/

$result = $httpsqs->status_json($queue_name);



/*

6. 查看指定队列位置点的内容

    返回指定队列位置点的内容。

*/

$result = $httpsqs->view($queue_name, $queue_pos);



/*

7. 重置指定队列

    如果重置队列成功，返回布尔值：true

    如果重置队列失败，返回布尔值：false

*/

$result = $httpsqs->reset($queue_name);



/*

8. 更改指定队列的最大队列数量

   如果更改成功，返回布尔值：true

   如果更改操作被取消，返回布尔值：false

*/

$result = $httpsqs->maxqueue($queue_name, $num);



/*

9. 修改定时刷新内存缓冲区内容到磁盘的间隔时间

   如果更改成功，返回布尔值：true

   如果更改操作被取消，返回布尔值：false

*/

$result = $httpsqs->synctime($num);

?>
　　(2)、Perl 客户端说明文档（第三方提供，作者：tonny0830）：

　　查看Perl客户端源代码：perl client

HttpSQS 模块参数说明
开发平台：CentOS 5.4
Perl版本：5.8.8
Editor: VIM
##################################################################
new 方法：

参数个数：4个

参数说明：
  1.HttpSQS-服务器IP地址。
  2.HttpSQS-工作端口号。
  3.Proto-连接服务器协议类型，TCP 还是UDP. 默认是TCP连接。
  4.Charset-字符集。默认是UTF-8。
###################################################################
put方法：

参数个数：2个

传递参数：
  1.队列名
    2.以POST方式提交的字符串
####################################################################
get方法：

参数个数：1个

传递参数：
    1.队列名
####################################################################
status方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
view方法：

参数个数：2个

传递参数：
    1.队列名
    2.查看队列的编号
#####################################################################
reset方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
maxqueue方法：

参数个数：2个

传递参数：
    1.队列名
    2.指定的最大队列数
#####################################################################
pput方法：

参数个数：2个

传递参数：
    1.队列名
    2.POST方式提交的数据。
#####################################################################
pget方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
pstatus方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################
pview方法：

参数个数：2个

传递参数：
    1.队列名
    2.查看队列的编号。
#####################################################################
pmaxqueue方法：

参数个数：2个

传递参数：
    1.队列名
    2.指定队列的最大数。
#####################################################################
preset方法：

参数个数：1个

传递参数：
    1.队列名
#####################################################################

使用的例子见：
httpsqs_cmdline_test.pl
httpsqs_cmdline_loop_test.pl

　　(3)、C 客户端示例（第三方提供，作者：李博）：

　　查看C客户端示例源代码：C client

　　(4)、Java 客户端

　　A、第一款客户端（推荐）（第三方提供，作者：Snow Young）：

　　下载 1.0 版本：http://httpsqs.googlecode.com/files/httpsqs4j-java-client-1.0.zip

　　从SVN下载最新代码：svn checkout http://httpsqs.googlecode.com/svn/trunk/client/httpsqs4j/ httpsqs4j

　　7、HTTPSQS 生产环境典型应用案例架构：

　　

　　一个采用PHP编写的HTTPSQS客户端简单守护进程框架如下：

　　环境，假设PHP安装路径为/usr/local/webserver/php，使用PHP编写一个文件/opt/httpsqs_client_daemon.php：
<?php

include_once dirname(__FILE__)."/httpsqs_client.php";

$httpsqs = new httpsqs($host, $port, $auth, $charset);

while(true) {

  $result = $httpsqs->gets($name);

  $pos = $result["pos"]; //当前队列消息的读取位置点

  $data = $result["data"]; //当前队列消息的内容

  if ($data != "HTTPSQS_GET_END" && $data != "HTTPSQS_ERROR") {

    ...去做应用操作...

  } else {

    sleep(1); //暂停1秒钟后，再次循环

  }

}

?>
　　在Linux下，推送到后台执行即可：

nohup /usr/local/webserver/php/bin/php /opt/httpsqs_client_daemon.php 2>&1 > /dev/null &
查看全文

相关阅读:
SharePoint 2010 User Profile Sync Service自动停止
 如何区别多个svchost.exe?
Log Parser分析IIS log的一个简单例子
 Timeout expired. The timeout period elapsed prior to obtaining a connection from the pool. This may have occurred because all pooled connections were in use and max pool size was reached.
Windows中右键点击文件夹, 结果找不到共享选项卡, 怎么办?
介绍SOS中的SaveModule命令
 SharePoint中Draft版本的文档不会收到document added的Alert Email
和我一起学Windows Workflow Foundation(1)创建和调试一个WF实例
 门户网站
 C#基础—— check、lock、using语句归纳

原文地址：https://www.cnblogs.com/zhongbin/p/3247412.html