Kinect开发(2)景深数据获取

    上一节讲了OpenNI2开发Kinect的基本框架，但是，具体的数据流获取并没有详细介绍，本篇文章开始介绍数据流的获取与处理。采用OpenCV进行图像的处理与显示。

    获取景深数据有2种方式，一种是轮询，另外一种是设置一个Listener，当有新的数据帧到达时，会通知该Listener。下面分别实现这两种方式。    

    先上代码，注：为了更清晰的展示主要过程，对于一些错误及异常都没有进行判断，代码写的比较简陋。

    方式一：轮询

#include <iostream>
using namespace std;

#include <OpenNI.h>
#pragma comment(lib, "openni2.lib")

#include <opencv/cv.h>
#include <opencv/highgui.h>
#pragma comment(lib, "opencv_core244.lib")
#pragma comment(lib, "opencv_highgui244.lib")

int main()
{
    openni::Status rc = openni::STATUS_OK;
    openni::Device device;
    openni::VideoStream depthStream;
    openni::VideoFrameRef frame;
    IplImage* img = NULL;
    char* pImgData = NULL;
    //初始化设备驱动
    openni::OpenNI::initialize();
    //打开设备
    device.open(openni::ANY_DEVICE);
    //接收景深传感器的数据
    depthStream.create(device, openni::SENSOR_DEPTH);
    depthStream.start();
    cvNamedWindow("wnd", CV_WINDOW_AUTOSIZE);
    while (true)
    {
        depthStream.readFrame(&frame);
        if (frame.isValid())
        {
            openni::DepthPixel* pData = (openni::DepthPixel*)frame.getData();
            if (!pImgData)
            {
                pImgData = new char[frame.getHeight()*frame.getWidth()];
            }
            if (!img)
            {
                img = cvCreateImage(cvSize(frame.getWidth(), frame.getHeight()),8, 1);
            }
            for (int row=0; row!=frame.getHeight(); ++row)
            {
                for (int col=0; col!=frame.getWidth(); ++col)
                {
                    pImgData[row*frame.getWidth() + col] = (char)pData[row*frame.getWidth()+col]%256;
                }
            }
            img->imageData = pImgData;
            cvShowImage("wnd", img);
            char c = cvWaitKey(30);
            if (c == 27)
            {
                cvReleaseImage(&img);
                delete[] pImgData;
                cvDestroyWindow("wnd");
                break;
            }
        }
    }
    depthStream.stop();
    depthStream.destroy();
    device.close();
    openni::OpenNI::shutdown();
    return 0;
}

    首先进行驱动、设备的初始化，由于上一节中已经介绍过，不再进行赘述。

    27：初始化一个OpenCV的窗口，用于显示处理之后的深度数据。

    30：从VideoStream中读取景深数据的数据帧。数据帧是openni::VideoFrameRef类型，该对象保存着本帧数据的宽高、时间戳、帧计数等信息。

    31：判断该数据帧是否有效。

    33：获取到该帧的数据，注意，OpenNI是用2个字节来表示一个景深数据，也就是DepthPixel其实就是uint16_t类型。

    34-41：根据该帧的信息，分配OpenCV需要用到的结构。

    42-48：这里只是进行一个简单的处理，对每个深度数据取256的模，以便进行区分。

    49-50：把处理后的数据在窗口中显示出来。

    方式二：事件

#include <conio.h>
#include <iostream>
using namespace std;

#include <OpenNI.h>
#pragma comment(lib, "openni2.lib")

#include <opencv/cv.h>
#include <opencv/highgui.h>
#pragma comment(lib, "opencv_core244.lib")
#pragma comment(lib, "opencv_highgui244.lib")

class NewDepthFrameListener
    : public openni::VideoStream::NewFrameListener
{
public:
    NewDepthFrameListener():m_pImg(nullptr), m_pImgData(nullptr) {};
    ~NewDepthFrameListener()
    {
        if (m_pImg)
        {
            cvReleaseImage(&m_pImg);
            m_pImg = nullptr;
        }
        if (m_pImgData)
        {
            delete[] m_pImgData;
            m_pImgData = nullptr;
        }
    }

public:
    virtual void onNewFrame(openni::VideoStream& stream)
    {
        openni::VideoFrameRef frame;
        stream.readFrame(&frame);
        if (frame.isValid())
        {
            const openni::DepthPixel* pData = (openni::DepthPixel*)frame.getData();
            if (!m_pImgData)
            {
                m_pImgData = new char[frame.getWidth()*frame.getHeight()];
            }
            if (!m_pImg)
            {
                m_pImg = cvCreateImage(cvSize(frame.getWidth(), frame.getHeight()), 8, 1);
            }
            for (int row=0; row!=frame.getHeight(); ++row)
            {
                for (int col=0; col!=frame.getWidth(); ++col)
                {
                    m_pImgData[row*frame.getWidth() + col] = (char)pData[row*frame.getWidth()+col]%256;
                }
            }
            m_pImg->imageData = m_pImgData;
            cvShowImage("wnd", m_pImg);
            frame.release();
        }
    }

private:
    char* m_pImgData;
    IplImage* m_pImg;
};

int main()
{
    openni::Status rc = openni::STATUS_OK;
    openni::Device device;
    openni::VideoStream depthStream;
    openni::VideoFrameRef frame;
    NewDepthFrameListener listener;
    IplImage* img = NULL;
    char* pImgData = NULL;
    //初始化设备驱动
    openni::OpenNI::initialize();
    //打开设备
    device.open(openni::ANY_DEVICE);
    //接收景深传感器的数据
    depthStream.create(device, openni::SENSOR_DEPTH);
    depthStream.start();
    depthStream.addNewFrameListener(&listener);
    cvNamedWindow("wnd", CV_WINDOW_AUTOSIZE);
    while (true)
    {
        if (cvWaitKey(30) == 27)
        {
            break;
        }
    }
    cvDestroyWindow("wnd");
    depthStream.stop();
    depthStream.destroy();
    device.close();
    openni::OpenNI::shutdown();
    return 0;
}

    代码比较简单，就不再进行说明。

    最后的效果如下图：