kinect 无法在我的android开发板上显示的分析

之前在网上发现黑客已经将kinect移植到android上，使用的beagleboard平台。公司想在kinect上深耕一下，所以需要将kinect在公司的android开发板上实现。记录以备忘。

一，按照黑客的教程，将之移植到beagleboard C4平台上。挺顺利。但深度图像只能维持几秒钟，因beagleboard不是我的最终目的，此问题搁置，beagleboard作为参考。黑客的教程如下：

http://www.noritsuna.com/archives/2011/01/openframeworks_kinect_android.html

顺便说一下，配置开发工具很麻烦，尤其是有些需要FQ出去下，所以建议下载上面网页结尾处作者提供的完整软件包。解压后修改一下环境变量即可用。可以更懒一下：新建一个跟作者相同的用户名，将包解压到相应的文件夹，整个工程及其软件就可以用了。

二、将之移植到自己的android开发板。硬件平台就不具体说了，不是国际大厂的。

出错：加速度计显示正常，但深度图像没有显示，全黑。

到此为止，我一直没有仔细看代码。呵呵。没办法了，看代码吧。

框架：openframework

流程：openframework->ofxAndroid->ofxKinect->freenect->libusb之后就是linux内核？

前面不说了，可以借助打印log进行分析。没有显示的原因是ofxKinect::threadedFunction()函数中，

void ofxKinect::threadedFunction(){ freenect_set_led(kinectDevice, LED_GREEN); freenect_set_depth_format(kinectDevice, FREENECT_DEPTH_11BIT); freenect_set_depth_callback(kinectDevice, &grabDepthFrame); ofLog(OF_LOG_VERBOSE, "leon ofxKinect: Connection opened"); freenect_start_depth(kinectDevice); ............... }  

最后一条语句设置回调函数，具体实现如下

void freenect_set_depth_callback(freenect_device *dev, freenect_depth_cb cb) { dev->depth_cb = cb; }

将回调函数赋值给dev->depth-cb, 之后调用freenect_start_depth(kinectDevice);

int freenect_start_depth(freenect_device *dev) { freenect_context *ctx = dev->parent; int res; .......................... dev->depth.pkt_size = DEPTH_PKTDSIZE; dev->depth.synced = 0; dev->depth.flag = 0x70; dev->depth.valid_frames = 0; res = fnusb_start_iso(&dev->usb_cam, &dev->depth_isoc, depth_process, 0x82, NUM_XFERS, PKTS_PER_XFER, DEPTH_PKTBUF); ................ }

函数fnusb_start_iso()将参数depth_process设为回调函数，

fnusb_start_iso(){ strm->cb = cb; libusb_fill_iso_transfer(strm->xfers[i], dev->dev, ep, bufp, pkts * len, pkts, iso_callback, strm, 0); } 

//在此函数中将iso_callback函数设为回调函数

static inline void libusb_fill_iso_transfer(struct libusb_transfer *transfer, libusb_device_handle *dev_handle, unsigned char endpoint, unsigned char *buffer, int length, int num_iso_packets, libusb_transfer_cb_fn callback, void *user_data, unsigned int timeout) { transfer->dev_handle = dev_handle; transfer->endpoint = endpoint; transfer->type = LIBUSB_TRANSFER_TYPE_ISOCHRONOUS; transfer->timeout = timeout; transfer->buffer = buffer; transfer->length = length; transfer->num_iso_packets = num_iso_packets; transfer->user_data = user_data; transfer->callback = callback; } 

而iso_callback函数又会调用strm->cb,depth_process。

static void iso_callback(struct libusb_transfer *xfer) { int i; fnusb_isoc_stream *strm = xfer->user_data; if (strm->dead) { freenect_context *ctx = strm->parent->parent->parent; strm->dead_xfers++; FN_SPEW("EP %02x transfer complete, %d left/n", xfer->endpoint, strm->num_xfers - strm->dead_xfers); return; } if(xfer->status == LIBUSB_TRANSFER_COMPLETED) { uint8_t *buf = (void*)xfer->buffer; for (i=0; i<strm->pkts; i++) { strm->cb(strm->parent->parent, buf, xfer->iso_packet_desc[i].actual_length); buf += strm->len; } libusb_submit_transfer(xfer); } else { freenect_context *ctx = strm->parent->parent->parent; FN_WARNING("Isochronous transfer error: %d/n", xfer->status); strm->dead_xfers++; } }  

depth_process中会执行dev->depth-cb。

调来调去的真的很麻烦。

至此，整个流程结束。那回调函数会在何时调用？也就是libusb_fill_iso_transfer函数中的  transfer->callback会在哪里被调用执行？

在ofxKinect用cscope搜一下callback，只有usbi_handle_transfer_completion回调用到transfer->callback，那usbi_handle_transfer_completion会在哪里被调用？再搜

有八九条，我们只关注标志为 LIBUSB_TRANSFER_COMPLETED的，只有一条,handle_iso_completion函数。搜handle_iso_completion

reap_for_handle   ---  op_handle_events  ，此函数被设置在const struct usbi_os_backend linux_usbfs_backend 结构体中，赋值语句：

.handle_events = op_handle_events,

const struct usbi_os_backend linux_usbfs_backend = { .name = "Linux usbfs", .init = op_init, .exit = NULL, .get_device_list = op_get_device_list, .get_device_descriptor = op_get_device_descriptor, .get_active_config_descriptor = op_get_active_config_descriptor, .get_config_descriptor = op_get_config_descriptor, .open = op_open, .close = op_close, .get_configuration = op_get_configuration, .set_configuration = op_set_configuration, .claim_interface = op_claim_interface, .release_interface = op_release_interface, .set_interface_altsetting = op_set_interface, .clear_halt = op_clear_halt, .reset_device = op_reset_device, .kernel_driver_active = op_kernel_driver_active, .detach_kernel_driver = op_detach_kernel_driver, .attach_kernel_driver = op_attach_kernel_driver, .destroy_device = op_destroy_device, .submit_transfer = op_submit_transfer, .cancel_transfer = op_cancel_transfer, .clear_transfer_priv = op_clear_transfer_priv, .handle_events = op_handle_events, .clock_gettime = op_clock_gettime, #ifdef USBI_TIMERFD_AVAILABLE .get_timerfd_clockid = op_get_timerfd_clockid, #endif .device_priv_size = sizeof(struct linux_device_priv), .device_handle_priv_size = sizeof(struct linux_device_handle_priv), .transfer_priv_size = sizeof(struct linux_transfer_priv), .add_iso_packet_size = 0, }; 

看看linux_usbfs_backend 是不是引用，还有.handle_events在哪里被调用？

在libs/libusb/core.c中

const struct usbi_os_backend * const usbi_backend = &linux_usbfs_backend; 

在libs/libusb/io.c中函数handle_events(){   usbi_backend->handle_events}

io.c中有两处调用到handle_events()函数

4 io.c          libusb_handle_events_timeout 1946 r = handle_events(ctx, &poll_timeout);

5 io.c          libusb_handle_events_locked  2022 return handle_events(ctx, &poll_timeout);

正确的调用应该是第二个，libusb_handle_events_locked，

搜libusb_handle_events_locked，除了函数定义只有一处头文件的声明。看起来上面分析不对，那是libusb_handle_events_timeout是正确调用？

libusb_handle_events_timeout被

API_EXPORTED int libusb_handle_events(libusb_context *ctx) { struct timeval tv; tv.tv_sec = 60; tv.tv_usec = 0; return libusb_handle_events_timeout(ctx, &tv); } 

调用，

搜libusb_handle_events，排除被bulk及control接口调用，只有在libusb10.c的两处

1 usb_libusb10.c fnusb_process_events      66 return libusb_handle_events(ctx->ctx);

2 usb_libusb10.c fnusb_stop_iso           245 libusb_handle_events(ctx->usb.ctx);

2是usb停止时的调用，1应为我们的目标，

int fnusb_process_events(fnusb_ctx *ctx) { return libusb_handle_events(ctx->ctx); } 

看到fn了，呵呵，我们的路应该是正确的。

int freenect_process_events(freenect_context *ctx) { return fnusb_process_events(&ctx->usb); } 

搜freenect_process_events，libs/libfreenect/libfreenect.hpp中

template <class T>class Freenect : Noncopyable { ... // Do not call directly, thread runs here void operator()() { while(!m_stop) { if(freenect_process_events(m_ctx) != 0) throw std::runtime_error("Cannot process freenect events"); } } ... } 

     // Do not call directly, thread runs here

呵呵，终于到头了。

整个流程就是这样，但对无法显示的问题还是无解。需要log。

先这样，将libusb的log打印出来再说。没有log就像瞎子一样。

4.15日编辑

今天把libusb的log输出出来了，写下以备忘。

libusb的log部分实在libusb.h中定义的

enum usbi_log_level { LOG_LEVEL_DEBUG, LOG_LEVEL_INFO, LOG_LEVEL_WARNING, LOG_LEVEL_ERROR, }; void usbi_log(struct libusb_context *ctx, enum usbi_log_level, const char *function, const char *format, ...); void usb_ofLog(int logLevel, const char* format, ...); #ifdef ENABLE_LOGGING #define _usbi_log(ctx, level, fmt...) usbi_log(ctx, level, __FUNCTION__, fmt) #else #define _usbi_log(ctx, level, fmt...) #endif #ifdef ENABLE_DEBUG_LOGGING #define usbi_dbg(fmt...) _usbi_log(NULL, LOG_LEVEL_DEBUG, fmt) #else #define usbi_dbg(fmt...) #endif #define usbi_info(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_INFO, fmt) #define usbi_warn(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_WARNING, fmt) #define usbi_err(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_ERROR, fmt)

最终所有的log输出都定位到usb_ofLog(level, fmt)函数，在core.c中void usbi_log(struct libusb_context *ctx, enum usbi_log_level level, const char *function, const char *format, ...) { va_list args; FILE *stream = stdout; const char *prefix; #ifndef ENABLE_DEBUG_LOGGING USBI_GET_CONTEXT(ctx); if (!ctx->debug) return; if (level == LOG_LEVEL_WARNING && ctx->debug < 2) return; if (level == LOG_LEVEL_INFO && ctx->debug < 3) return; #endif switch (level) { case LOG_LEVEL_INFO: prefix = "info"; break; case LOG_LEVEL_WARNING: stream = stderr; prefix = "warning"; break; case LOG_LEVEL_ERROR: stream = stderr; prefix = "error"; break; case LOG_LEVEL_DEBUG: stream = stderr; prefix = "debug"; break; default: stream = stderr; prefix = "unknown"; break; } fprintf(stream, "libusb:%s [%s] ", prefix, function); va_start (args, format); vfprintf(stream, format, args); va_end (args); fprintf(stream, "/n"); }

libusb的日志输出是标准的输入输出。有个方案，可以在上面的函数中将日志保存到一个文件中。我用的是另一条路：

采用android的日志模式

1、修改libusb.h，修改成这样

enum usbi_log_level { LOG_LEVEL_DEBUG = 3, LOG_LEVEL_INFO, LOG_LEVEL_WARNING, LOG_LEVEL_ERROR, }; void usbi_log(struct libusb_context *ctx, enum usbi_log_level, const char *function, const char *format, ...); void usb_ofLog(int logLevel, const char* format, ...); #ifdef ENABLE_LOGGING #define _usbi_log(ctx, level, fmt...) usb_ofLog(level, fmt) #else #define _usbi_log(ctx, level, fmt...) #endif #ifdef ENABLE_DEBUG_LOGGING #define usbi_dbg(fmt...) _usbi_log(NULL, LOG_LEVEL_DEBUG, fmt) #else #define usbi_dbg(fmt...) #endif #define usbi_info(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_INFO, fmt) #define usbi_warn(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_WARNING, fmt) #define usbi_err(ctx, fmt...) _usbi_log(ctx, LOG_LEVEL_ERROR, fmt)  

主要是上面的enum，将第一个赋值为3，另外将几个宏定义重定位到另一个函数usb_ofLog，这个函数需要我们自己改。

在core.c 最后添加如下：

#include <android/log.h> #define LOG_TAG "OF" #define LOGNOTICE(...) __android_log_print(ANDROID_LOG_INFO,LOG_TAG,__VA_ARGS__) #define LOGWARNING(...) __android_log_print(ANDROID_LOG_WARN,LOG_TAG,__VA_ARGS__) #define LOGERROR(...) __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) #define LOGFATAL(...) __android_log_print(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) #define LOGVERBOSE(...) __android_log_print(ANDROID_LOG_INFO,LOG_TAG,__VA_ARGS__) //#define vLOGNOTICE(...) __android_log_vprint(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) //#define vLOGWARNING(...) __android_log_vprint(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) //#define vLOGERROR(...) __android_log_vprint(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) //#define vLOGFATAL(...) __android_log_vprint(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) //#define vLOGVERBOSE(...) __android_log_vprint(ANDROID_LOG_ERROR,LOG_TAG,__VA_ARGS__) void usb_ofLog(int logLevel, const char* format, ...){ //thanks stefan! //http://www.ozzu.com/cpp-tutorials/tutorial-writing-custom-printf-wrapper-function-t89166.html // if(logLevel > LOG_LEVEL_INFO){ if(1){ va_list args; va_start( args, format ); if(logLevel == LOG_LEVEL_INFO){ LOGVERBOSE( format ); } else if(logLevel == LOG_LEVEL_DEBUG){ LOGNOTICE( format ); } else if(logLevel == LOG_LEVEL_WARNING){ LOGWARNING( format ); } else if(logLevel == LOG_LEVEL_ERROR){ LOGERROR( format ); } va_end( args ); } }  

见android的日志规则引用进来。之后重编译，就可以看到可爱的日志啦。

4.26日更新

已经在自己的开发板上跑起来了。有图像输出，但只是二值图，这个应该是上层画图的时候的问题。先记录一下解决的过程。

libusb日志打印成功后，分析得知libusb得到的数据为全0，libusb的底层支持是usbfs，所以跟踪到kernel的usbfs部分，usb/core/devio.c中，有函数processcompl(),

将语句

if (as->userbuffer && urb->actual_length) {

修改成 

if(as->userbuffer){

之后图像能够正常输出，跟板子的提供商联系，urb->actual_length在usb core中没有被赋值。bug

他提供的解决方案，

在driver/xxx/usb/dwc_otg/dwc_otg_hcd_intr.c中

if (++_qtd->isoc_frame_index == urb->number_of_packets) {前加下面的语句

urb->actual_length += frame_desc->actual_length;

最后的结果是：

default:

DWC_ERROR("%s: Unhandled _halt_status (%d)/n", __func__,

 _halt_status);

BUG();

break;

}

urb->actual_length += frame_desc->actual_length;

if (++_qtd->isoc_frame_index == urb->number_of_packets) {

如果只是按照他提供的方案改，帧率很低，原因待分析。