【翻译】Kinect v2程序设计(C++) Color篇

Kinect SDK v2预览版，获取数据的基本流程的说明。以及取得Color图像的示例程序的介绍。

上一节，是关于当前型号Kinect for Windows（后面称作Kinect v1）和次世代型的Kinect for Windows的开发者预览版(后面称作Kinect v2 预览版)的配置比较和介绍。

从这一节开始，是Kinect的各种数据的取得方法的比较和介绍。

 

Color Camera

Kinect和通常的Web摄像头一样，搭载了 Color Camera，可以取得Color图像。关于Camera，Kinect v1的分辨率是640×480，Kinect v2分辨率大幅提升到1920×1080。这次，要介绍从Color Camer取得图像的方法。

 

数据取得的流程

Kinect SDK v1和Kinect SDK v2预览版取得数据的基本流程。

这里表示的是最基础的流程，在Kinect SDK 在v2预览版里，有把多个「Source」「Reader」一齐处理的API，和这里介绍的数据获取的流程也会有差异。

图1是Kinect SDK v1和Kinect SDK v2预览版的数据取得流程

Kinect SDK v1，是从「Sensor」打开「Stream」，从「Stream」取得「Frame」，从「Frame」取得数据这样的流程。

到了Kinect SDK v2预览版，是从「Sensor」取得「Source」，从「Source」打开「Reader」，从「Reader」取得「Frame」，从「Frame」取得数据这样的流程。

 

  每个Kinect SDK v2预览版的「Source」，都有一个从Kinect取得Color和Depth的1个数据流，这点和Kinect SDK v1的「Stream」是一样的。

 

  Kinect SDK v2预览版，追加了「Reader」的阶段。「Reader」能打开1个「Source」多次。通过这个配置，多线程的应用上，不需要把取得的数据拷贝到其他线程处理。也有多个应用可以从同一个传感器取得数据的优点。

（注：因为Color Camera和Depth Camera是分离的，所以Color、Depth和Skeleton数据流也是各自独立的，API通过Event来通知App是否有数据更新。通常为了效率，对每一个数据流都使用单独的线程来等待Event，然后处理数据。在之前的v1中，Frame是独立的，取出后数据就被Drop掉了，所以想在Depth里读取Color之类的操作，必须使用内存拷贝，而多线程读写数据又会需要互斥锁，十分影响效率；还有一个办法是通过NuiSetFrameEndEvent，也就是c#接口中的AllFrameReady事件，但是这样等待所有数据不仅太局限而且效率很低。）

 

示例程序

  Kinect SDK v2预览版取得Color画像的示例程序的展示，图1展示的是数据取得阶段的摘录解说。这个示例程序的全部内容，在下面的github里公开了。

• https://github.com/UnaNancyOwen/Kinect2Sample

这个示例程序为了处理图像数据，使用了OpenCV。OpenCV的详细内容可以参考下面的信息。

• http://docs.opencv.org/

「Sensor」

取得「Sensor」

1. // Sensor
   IKinectSensor* pSensor;   ……1
   HRESULT hResult = S_OK;
   hResult = GetDefaultKinectSensor( &pSensor );  ……2
   if( FAILED( hResult ) ){
     std::cerr << "Error : GetDefaultKinectSensor" << std::endl;
     return -1;
   }
   hResult = pSensor->Open();  ……3
   if( FAILED( hResult ) ){
     std::cerr << "Error : IKinectSensor::Open()" << std::endl;
     return -1;
   } 

   列表1.1 相当于图1「Sensor」的部分
   1 处理Kinect v2预览版的Sensor接口。
   2 取得默认的Sensor。
   3 打开Sensor。

 

「Source」
　从「Sensor」取得「Source」。

1. // Source
   IColorFrameSource* pColorSource;  ……1
   hResult = pSensor->get_ColorFrameSource( &pColorSource );  ……2
   if( FAILED( hResult ) ){
     std::cerr << "Error : IKinectSensor::get_ColorFrameSource()" << std::endl;
     return -1;
   }

   列表1.2 相当于图1「Source」的部分
   1 获取Color Frame的Source接口。
   2 从Sensor取得Source。

「Reader」

「Source」从打开「Reader」。

1. // Reader
   IColorFrameReader* pColorReader;  ……1
   hResult = pColorSource->OpenReader( &pColorReader );  ……2
   if( FAILED( hResult ) ){
     std::cerr << "Error : IColorFrameSource::OpenReader()" << std::endl;
     return -1;
   }

   列表1.3 相当于图1「Reader」的部分
   1 获取Color Frame的Reader接口。
   2 从Source打开Reader。

「Frame」～「Data」

从「Reader」取得最新的「Frame」。

1. int width = 1920;   ……1
   int height = 1080;  ……1
   unsigned int bufferSize = width * height * 4 * sizeof( unsigned char );  ……2
   cv::Mat bufferMat( height， width， CV_8UC4 );  ……3
   cv::Mat colorMat( height / 2， width / 2， CV_8UC4 );  ……3
   cv::namedWindow( "Color" );
   while( 1 ){
     // Frame
     IColorFrame* pColorFrame=nullptr;  ……4
     hResult=pColorReader->AcquireLatestFrame( &pColorFrame );  ……5
     if( SUCCEEDED( hResult ) ){
       hResult = pColorFrame->CopyConvertedFrameDataToArray( bufferSize， reinterpret_cast<BYTE*>( bufferMat.data )， ColorImageFormat_Bgra );  ……6
       if( SUCCEEDED( hResult ) ){
         cv::resize( bufferMat， colorMat， cv::Size()， 0.5， 0.5 );   ……7
       }
     }
     SafeRelease( pColorFrame );
     // Show Window
     cv::imshow( "Color"， colorMat );
     if( cv::waitKey( 30 ) == VK_ESCAPE ){
       break;
     }
   } 

   列表1.4 相当于图1「Frame」，「Data」的部分
   1 Color图像的尺寸（1920×1080）。
      这里为了简化说明，画像尺寸用硬编码来设定，示例程序可以从Source取得着Frame信息。
   2 Color图像的数据尺寸。
   3 为了处理Color图像，准备OpenCV的cv::Mat。
    「bufferMat」是原始的图像数据，「colorMat」是Resize图像数据的处理。 
    「CV_8UC4」，是无符号8bit整数(8U)，4个channel(C4)并列来表现1个像素的数据格式。
   4 取得Color图像的Frame接口。
   5 从Reader取得最新的Frame。
   6 从Frame取得Color图像。
      默认的格式是YUY2（亮度与色差表现的格式），不过可以经过简单处理变换为BGRA。
   7 缩小为长宽各一半的尺寸(960×540)。

  从「Frame」取得Color图像的数据时，Kinect SDK v1是预先指定图像尺寸和格式，Kinect SDK v2不能指定图像尺寸。因此，取得数据后可以按任意形状来整理。

  取出的Color图像直接显示的话尺寸太大（1920×1080），在这里采用了OpenCV的resize命令（cv::resize()），缩小为长宽各一半的尺寸(960×540)。（注：阅读理解时不要受这一段缩放代码的干扰，仅仅就是为了考虑在显示器上显示的方便观察，没别的意义。）

  取出的Color图像的数据如果指定的是BGRA格式，就会像图2一样的排列着。蓝(B)，绿(G)，红(R)，和无效值(A)的共计32bit构成1像素。

图2 Color图像的数据排列

 

运行结果

运行这个示例程序的话，就会像图3那样，显示从Kinect v2预览版中取得的Color图像。

总结

本节介绍了从Kinect SDK v2预览版中取得数据的基本流程和取得Color图像的示例程序，下一节将介绍取得Depth数据的示例程序。