在OpenCV for Android 2.4.5中使用SURF(nonfree module)

http://blog.csdn.net/ruifdu/article/details/9120559

在OpenCV4Android中没有nonfree module，因此也就没有了SURF和SIFT组件。但是我们可以通过OpenCV for Windows的nonfree module开源代码通过NDK将其编译为Android可以使用的.so库文件，然后通过JNI技术，将该.so文件挂载到JNI的库中。

具体实现方法如下：

需要的工具：

1. NDK
2. OpenCV for Android
3. OpenCV for Windows（其实只需要两个头文件）
4. Android ADT

    电脑操作系统为Windows7 x86，Android开发环境为ADT 20130512。下面说明如何在OpenCV中使用nonfree module：

   1.编译nonfree module库

    博主OpenCV for Windows安装路径为C:Program Filesopencv，OpenCV4Android路径为 E:My DocumentsAndroidOpenCV-2.4.5-android-sdk。

   nonfree module 的源代码存储在C:Program Filesopencvmodules onfreesrc中，头文件存储在C:Program Filesopencvmodules onfreeincludeopencv2 onfree中。

    编译的过程中需要两个头文件，一个为nonfree.hpp，一个为features2d.hpp，将这两个头文件拷贝至OpenCV4Android SDK的include文件夹下：E:My DocumentsAndroidOpenCV-2.4.5-android-sdksdk ativejniincludeopencv2 onfree文件夹下。

    为了编译库文件，我们还需要nonfree module的源代码。源代码为C:Program Filesopencvmodules onfreesrc中的nonfree_init.cpp，precomp.cpp，sift.cpp，surf.cpp和precomp.hpp五个文件。为了简单起见，我们需要一个简单的Android JNI的工程来帮我们编译这些源代码。

   2.配置NDK环境

     在Android中创建JNI工程的方法是在一个已经创建好的Android工程上点击右键，new->Ohter->Convert to a C/C++ Project(Adds C/C++ Nature)，并在Android工程目录中创建jni文件夹，将上述5个源代码文件拷贝至jni文件夹中。并在jni文件夹中创建Android.mk和Application.mk文件。此时文件组织如下：

    博主NDK的位置为C:android-ndk-r8e，在系统变量中创建NDKROOT，变量值为C:android-ndk-r8e，在该文件夹下有ndk-build.cmd脚本命令文件，该文件是使用NDK编译C代码的关键。配置完毕后，在Android工程中配置C++编译命令，配置如下所示，意味使用环境变量中NDKROOT/ndk-build.cmd进行编译

    在Behaviour选项卡中勾选Build on resource save(Auto build)。至此NDK配置完毕

 

    3.编写makefile文件

    在Android.mk中代码如下

LOCAL_PATH:= $(call my-dir)
include $(CLEAR_VARS)
OPENCV_INSTALL_MODULES:=on
OPENCV_CAMERA_MODULES:=off
include ..OpenCV-2.4.5-android-sdksdk
ativejniOpenCV.mk

LOCAL_C_INCLUDES:= ../OpenCV-2.4.5-android-sdk/sdk/native/jni/include
LOCAL_MODULE    := nonfree
LOCAL_CFLAGS    := -Werror -O3 -ffast-math
LOCAL_LDLIBS    += -llog
LOCAL_SRC_FILES := nonfree_init.cpp
 precomp.cpp
 sift.cpp
 surf.cpp
include $(BUILD_SHARED_LIBRARY)

在Android.mk中使用了OpenCV.mk的路径和jni/include的路径，我的工程是和OpenCV SDK放在同一文件夹下的，因此可以这样写。两处使用绝对路径也可以，但是不能有空格。

在Application.mk中代码如下

#APP_ABI := armeabi
APP_ABI := armeabi-v7a
APP_STL := gnustl_static
APP_CPPFLAGS := -frtti -fexceptions
APP_PLATFORM := android-8

这里可能有问题，APP_PLATFORM按照Andoird工程建立时最小SDK填写，否则编译不过。

    如果之前勾选了Auto Build，这里工程会自动编译，在libs下会生成两个库，为libnonfree.so和libopencv_java.so，这两个库就是需要的库文件了。使用这两个库文件，就可以通过JNI技术在Android中使用SURF算法。

4. 在Android中使用SURF的例子

    和2中一样，首先创建一个带有NDK工程的Android工程，并创建jni文件夹，用javah生成native的类头文件（如何生成类文件请参看另一边博文），并将刚才编译好的libnonfree.so和libopencv_java.so拷贝值jni文件夹下（当然你也可以把这两个东西放到OpenCV的库文件夹下，一劳永逸，只要能在链接的时候能搜索到就行了）。编写好native方法的c++实现，这里我实现了利用SURF的特征点检测和描述符生成。代码如下：

#include "NativeSurf.h"
#include <opencv2/opencv.hpp>
#include <stdio.h>
#include <opencv2/nonfree/features2d.hpp>
#include <opencv2/nonfree/nonfree.hpp>

using namespace cv;
using namespace std;

void KeyPoint2Mat(vector<KeyPoint>& keypoints, Mat& mat)
{
    int i = 0;
    int size = keypoints.size();
    mat.create(size,1,CV_32FC(7));
    float* buff = (float*)mat.data;
    for(i=0;i<size;i++)
    {
        KeyPoint kp = keypoints[i];
        buff[7*i+0] = kp.pt.x;
        buff[7*i+1] = kp.pt.y;
        buff[7*i+2] = kp.size;
        buff[7*i+3] = kp.angle;
        buff[7*i+4] = kp.response;
        buff[7*i+5] = kp.octave;
        buff[7*i+6] = kp.class_id;
    }
}

JNIEXPORT void JNICALL Java_com_ruif_nativeSurf_NativeSurf_SurfDetect
  (JNIEnv *, jclass, jlong imgObj, jlong keyPointsObj, jlong descriptorObj)
{
    //Create Mats
    Mat* img = (Mat*)imgObj;                //img
    Mat* descriptor = (Mat*)descriptorObj;  //Descriptor

    Mat* keyPointsMat = (Mat*)keyPointsObj;
    vector<KeyPoint> keyPointvec;
    SurfFeatureDetector surfDetector(1000);
    SurfDescriptorExtractor surfExtractor;
    surfDetector.detect(*img,keyPointvec);
    surfExtractor.compute(*img,keyPointvec,*descriptor);
    KeyPoint2Mat(keyPointvec,*keyPointsMat);
}

编写Android.mk文件如下：

LOCAL_PATH := $(call my-dir)
include $(CLEAR_VARS)
LOCAL_MODULE    := nonfree
LOCAL_SRC_FILES := libnonfree.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
LOCAL_MODULE    := opencv_java_prebuilt
LOCAL_SRC_FILES := libopencv_java.so
include $(PREBUILT_SHARED_LIBRARY)

include $(CLEAR_VARS)
include ../OpenCV-2.4.5-android-sdk/sdk/native/jni/OpenCV.mk
LOCAL_MODULE    := Surf
LOCAL_CFLAGS    := -Werror -O3 -ffast-math
LOCAL_LDLIBS    += -llog -ldl
LOCAL_SHARED_LIBRARIES := nonfree opencv_java_prebuilt
LOCAL_SRC_FILES := Surf.cpp
include $(BUILD_SHARED_LIBRARY)

编写Application.mk文件如下：

APP_ABI := armeabi-v7a
APP_STL := gnustl_static
APP_CPPFLAGS := -frtti -fexceptions
APP_PLATFORM := android-8

此时你会发现各种语法错误和不能解析的变量。其实他们并不影响编译，所有的头文件在Android.mk和Application.mk中已经声明，编译仍然会成功，但是自己编写程序时为了使用Eclipse的提示功能，需要对工程进行如下设置。

在C/C++ General->Paths and Symbols中设置Includes为：

${NDKROOT}/platforms/android-14/arch-arm/usr/include

${NDKROOT}/sources/cxx-stl/gnu-libstdc++/4.7/include

${NDKROOT}/sources/cxx-stl/gnu-libstdc++/4.7/libs/armeabi-v7a/include

../OpenCV-2.4.5-android-sdk/sdk/native/jni/include

参见 OpenCV4Android文档

 你会发现所有都正常了，此时工程结构组织如下：

   在libs下的libSurf.so库就是我们需要使用的JNI库。

   5.使用JNI库

    该JNI库需要结合OpenCV使用，因此仍然需要调用OpenCV4Anroid库，调用的方法参见 OpenCV文档。需等待OpenCV库加载完毕后才能加载我们编写的库。2.4.5中应该不用添加initial_nonfree()这个函数了。运行能够成功。

private BaseLoaderCallback mLoaderCallback = new BaseLoaderCallback(this) {
       @Override
       public void onManagerConnected(int status) {
           switch (status) {
               case LoaderCallbackInterface.SUCCESS:
               {
                Log.i(Unity.TAG,"OpenCV loaded successfully");
                System.loadLibrary("nonfree");
                System.loadLibrary("opencv_java");
                System.loadLibrary("Surf");
                isOpenCVLoad = true;
               } break;
               default:
               {
                Log.i(Unity.TAG,"OpenCV loaded Failed!");
                   super.onManagerConnected(status);
               } break;
           }
       }
   };

    一定要顺序加载，否则会报错。至此就能够在JAVA中使用Native函数了。

网上这方面资料很少，希望对大家有所帮助。