zoukankan      html  css  js  c++  java
  • php使用gearman进行任务分发

    一、安装gearman

    下载gearman源码包

    1
    https://launchpad.net/gearmand/+download

    如: gearmand-1.1.12.tar.gz

    下载php的gearman扩展包

    1
    http://pecl.php.net/package/gearman

    如: gearman-1.1.2.tgz

    安装gearman

    1
    2
    3
    4
    5
    > yum install boost-devel gperf libevent-devel libuuid-devel
    > tar xf gearmand-1.1.12.tar.gz
    > cd gearmand-1.1.12
    > ./configure
    > make && make install

    安装gearman的php扩展(建议php版本不要过高,因为php7的gearman扩展目前还没有出来)

    1
    2
    3
    4
    5
    6
    > yum install autoconf
    > tar xf gearman-1.1.2.tgz
    > cd gearman-1.1.2
    > /data/php56/bin/phpize
    > ./configure --with-php-config=/data/php56/bin/php-config
    > make && make install

    修改php.ini

    1
    > vi /data/php56/lib/php.ini

    添加如下两项

    1
    2
    extension_dir=/data/php56/lib/php/extensions/no-debug-zts-20131226/
    extension=gearman.so

    查看扩展

    1
    > /data/php56/bin/php -m

      

    二、简单的使用gearman

    gearman中请求的处理过程一般涉及三种角色:client->job->worker
    其中client是请求的发起者
    job是请求的调度者,用于把客户的请求分发到不同的worker上进行工作
    worker是请求的处理者

    比如这里我们要处理client向job发送一个请求,来计算两个数之和,job负责调度worker来具体实现计算两数之和。

    首先我们编写client.php

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    <?php
    //创建一个客户端
    $client = new GearmanClient();
    //添加一个job服务
    $client->addServer('127.0.0.1', 4730);
    //doNormal是同步的,等待worker处理完成返回结果
    //建议不要使用do()了
    $ret = $client->doNormal('sum', serialize(array(10, 10)));
     
    if($ret) {
        echo '计算结果:', $ret, " ";
    }

    再编写worker.php

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    <?php
    //创建一个worker
    $worker = new GearmanWorker();
    //添加一个job服务
    $worker->addServer('127.0.0.1', 4730);
    //注册一个回调函数,用于业务处理
    $worker->addFunction('sum', function($job) {
        //workload()获取客户端发送来的序列化数据
        $data = unserialize($job->workload());
     
        return $data[0] + $data[1];
    });
     
    //死循环
    while(true) {
        //等待job提交的任务
        $ret = $worker->work();
        if ($worker->returnCode() != GEARMAN_SUCCESS) {
            break;
        }
    }

    我们先启动gearmand服务

    1
    2
    > mkdir -p /usr/local/var/log
    > gearmand -d

    运行worker文件

    1
    > /data/php56/bin/php /data/worker.php

    再运行client文件

    1
    > /data/php56/bin/php /data/client.php

    结果如下:

    三、gearman异步的处理任务

    这里我们client向job发送一个发送邮件的请求,不等待请求完成,继续向下执行。

    client.php代码如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    25
    26
    27
    28
    29
    30
    31
    <?php
    //创建一个客户端
    $client = new GearmanClient();
    //添加一个job服务
    $client->addServer('127.0.0.1', 4730);
    //doBackground异步,返回提交任务的句柄
    $ret = $client->doBackground('sendEmail', json_encode(array(
        'email' => 'test@qq.com',
        'title' => '测试异步',
        'body' => '异步执行好牛B的样子',
    )));
     
    //继续执行下面的代码
    echo "我的内心毫无波动,甚至还想笑 ";
     
    do {
        sleep(1);
     
        //获取任务句柄的状态
        //jobStatus返回的是一个数组
        //第一个,表示工作是否已经知道
        //第二个,工作是否在运行
        //第三和第四,分别对应完成百分比的分子与分母
        $status = $client->jobStatus($ret);
         
        echo "完成情况:{$status[2]}/{$status[3]} ";
     
        if(!$status[1]) {
            break;
        }
    } while(true);

    worker.php代码如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    <?php
    //创建一个worker
    $worker = new GearmanWorker();
    //添加一个job服务
    $worker->addServer('127.0.0.1', 4730);
    //注册一个回调函数,用于业务处理
    $worker->addFunction('sendEmail', function($job) {
        //workload()获取客户端发送来的序列化数据
        $data = json_decode($job->workload(), true);
        //模拟发送邮件所用时间
        sleep(6);
        echo "发送{$data['email']}邮件成功 ";
    });
     
    //死循环
    //等待job提交的任务
    while($worker->work());  

    结果如下:

    四、gearman并行的执行多个任务

    我们如何并行的计算两个数的累加和? 通过addTask添加多个任务到队列,然后进行并行计算。

    client.php代码如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    <?php
    //创建一个客户端
    $client = new GearmanClient();
    //添加一个job服务
    $client->addServer('127.0.0.1', 4730);
    //设置任务完成时的回调函数
    $client->setCompleteCallback(function($task) {
        //获取由worker返回的数据
        echo $task->data(), " ";
    });
     
    //计算1到500的累加和
    //添加五个任务到队列
    $client->addTask('sum', json_encode(array(1, 100)));
    $client->addTask('sum', json_encode(array(100, 200)));
    $client->addTask('sum', json_encode(array(200, 300)));
    $client->addTask('sum', json_encode(array(300, 400)));
    $client->addTask('sum', json_encode(array(400, 500)));
     
    //运行队列中的任务,do系列不需要runTask()
    $client->runTasks();

    worker.php代码如下:

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    <?php
    //创建一个worker
    $worker = new GearmanWorker();
    //添加一个job服务
    $worker->addServer('127.0.0.1', 4730);
    //注册一个回调函数,用于业务处理
    $worker->addFunction('sum', function($job) {
        //workload()获取客户端发送来的序列化数据
        $data = json_decode($job->workload(), true);
        sleep(1);
        $sum = 0;
        for($ix = $data[0]; $ix < $data[1]; ++$ix) {
            $sum += $ix;
        }
        return $sum;
    });
     
    //死循环
    //等待job提交的任务
    while($worker->work());

    我们开启5个worker工作进程,当运行客户端请求时,5个计算任务几乎是同时返回结果。

    结果如下:

  • 相关阅读:
    [8,9]wsdl2h,soapcpp2 工具的使用
    [7].Gsoap快速入门
    [10].gSOAP Service 一些操作规范和格式
    [16]SOAP/XML在UDP上的实现
    [26].符号约定,gsoap 版本之间的差异性,以及通用性相关介绍
    [19].Gsoap 高级功能
    [14,15,16]MIME,DIME和MTOM附件
    [12,13].gSOAP 错误和标头处理
    Demo学习: Basic jQuery
    Demo学习: CalendarPanel
  • 原文地址:https://www.cnblogs.com/myon/p/7234028.html
Copyright © 2011-2022 走看看