本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据(yv12),开发环境为Android 4.4,全志A23平台。
package com.example.myyuvviewer; import java.io.File; import java.io.FileInputStream; import android.app.Activity; import android.os.Bundle; import android.os.Environment; import android.util.Log; import android.view.Surface; import android.view.SurfaceHolder; import android.view.SurfaceHolder.Callback; import android.view.SurfaceView; public class MainActivity extends Activity { final private String TAG = "MyYUVViewer"; final private String FILE_NAME = "yuv_320_240.yuv"; private int width = 320; private int height = 240; private int size = width * height * 3/2; @Override protected void onCreate(Bundle savedInstanceState) { super.onCreate(savedInstanceState); setContentView(R.layout.activity_main); nativeTest(); SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView); SurfaceHolder holder = surfaceview.getHolder(); holder.addCallback(new Callback(){ @Override public void surfaceCreated(SurfaceHolder holder) { // TODO Auto-generated method stub Log.d(TAG,"surfaceCreated"); byte[]yuvArray = new byte[size]; readYUVFile(yuvArray, FILE_NAME); nativeSetVideoSurface(holder.getSurface()); nativeShowYUV(yuvArray,width,height); } @Override public void surfaceChanged(SurfaceHolder holder, int format, int width, int height) { // TODO Auto-generated method stub } @Override public void surfaceDestroyed(SurfaceHolder holder) { // TODO Auto-generated method stub }}); } private boolean readYUVFile(byte[] yuvArray,String filename){ try { // 如果手机插入了SD卡,而且应用程序具有访问SD的权限 if (Environment.getExternalStorageState().equals( Environment.MEDIA_MOUNTED)) { // 获取SD卡对应的存储目录 File sdCardDir = Environment.getExternalStorageDirectory(); // 获取指定文件对应的输入流 FileInputStream fis = new FileInputStream( sdCardDir.getCanonicalPath() +"/" + filename); fis.read(yuvArray, 0, size); fis.close(); return true; } else { return false; } }catch (Exception e) { e.printStackTrace(); return false; } } private native void nativeTest(); private native boolean nativeSetVideoSurface(Surface surface); private native void nativeShowYUV(byte[] yuvArray,int width,int height); static { System.loadLibrary("showYUV"); } }
activity_main.xml
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:layout_width="fill_parent" android:layout_height="fill_parent" android:orientation="vertical" > <SurfaceView android:id="@+id/surfaceView" android:layout_width="fill_parent" android:layout_height="360dp" /> </LinearLayout>
JNI层,showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.
#include <jni.h> #include <android_runtime/AndroidRuntime.h> #include <android_runtime/android_view_Surface.h> #include <gui/Surface.h> #include <assert.h> #include <utils/Log.h> #include <JNIHelp.h> #include <media/stagefright/foundation/ADebug.h> #include <ui/GraphicBufferMapper.h> #include <cutils/properties.h> using namespace android; static sp<Surface> surface; static int ALIGN(int x, int y) { // y must be a power of 2. return (x + y - 1) & ~(y - 1); } static void render( const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) { ALOGE("[%s]%d",__FILE__,__LINE__); sp<ANativeWindow> mNativeWindow = nativeWindow; int err; int mCropWidth = width; int mCropHeight = height; int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间 int bufWidth = (mCropWidth + 1) & ~1;//按2对齐 int bufHeight = (mCropHeight + 1) & ~1; CHECK_EQ(0, native_window_set_usage( mNativeWindow.get(), GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN | GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP)); CHECK_EQ(0, native_window_set_scaling_mode( mNativeWindow.get(), NATIVE_WINDOW_SCALING_MODE_SCALE_CROP)); // Width must be multiple of 32??? //很重要,配置宽高和和指定颜色空间yuv420 //如果这里不配置好,下面deque_buffer只能去申请一个默认宽高的图形缓冲区 CHECK_EQ(0, native_window_set_buffers_geometry( mNativeWindow.get(), bufWidth, bufHeight, halFormat)); ANativeWindowBuffer *buf;//描述buffer //申请一块空闲的图形缓冲区 if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(), &buf)) != 0) { ALOGW("Surface::dequeueBuffer returned error %d", err); return; } GraphicBufferMapper &mapper = GraphicBufferMapper::get(); Rect bounds(mCropWidth, mCropHeight); void *dst; CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程 buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址 if (true){ size_t dst_y_size = buf->stride * buf->height; size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小 size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小 memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区 } CHECK_EQ(0, mapper.unlock(buf->handle)); if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf, -1)) != 0) { ALOGW("Surface::queueBuffer returned error %d", err); } buf = NULL; } static void nativeTest(){ ALOGE("[%s]%d",__FILE__,__LINE__); } static jboolean nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){ ALOGE("[%s]%d",__FILE__,__LINE__); surface = android_view_Surface_getSurface(env, jsurface); if(android::Surface::isValid(surface)){ ALOGE("surface is valid "); }else { ALOGE("surface is invalid "); return false; } ALOGE("[%s][%d] ",__FILE__,__LINE__); return true; } static void nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){ ALOGE("width = %d,height = %d",width,height); jint len = env->GetArrayLength(yuvData); ALOGE("len = %d",len); jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0); render(byteBuf,len,surface,width,height); } static JNINativeMethod gMethods[] = { {"nativeTest", "()V", (void *)nativeTest}, {"nativeSetVideoSurface", "(Landroid/view/Surface;)Z", (void *)nativeSetVideoSurface}, {"nativeShowYUV", "([BII)V", (void *)nativeShowYUV}, }; static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity"; // This function only registers the native methods static int register_com_example_myyuvviewer(JNIEnv *env) { ALOGE("[%s]%d",__FILE__,__LINE__); return AndroidRuntime::registerNativeMethods(env, kClassPathName, gMethods, NELEM(gMethods)); } jint JNI_OnLoad(JavaVM* vm, void* reserved) { ALOGE("[%s]%d",__FILE__,__LINE__); JNIEnv* env = NULL; jint result = -1; if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) { ALOGE("ERROR: GetEnv failed "); goto bail; } assert(env != NULL); ALOGE("[%s]%d",__FILE__,__LINE__); if (register_com_example_myyuvviewer(env) < 0) { ALOGE("ERROR: MediaPlayer native registration failed "); goto bail; } /* success -- return valid version number */ result = JNI_VERSION_1_4; bail: return result; }
Android.mk
LOCAL_PATH:= $(call my-dir) include $(CLEAR_VARS) LOCAL_SRC_FILES:= showYUV.cpp LOCAL_SHARED_LIBRARIES := libcutils libutils libbinder libui libgui libandroid_runtime libstagefright_foundation LOCAL_MODULE:= libshowYUV LOCAL_MODULE_TAGS := tests include $(BUILD_SHARED_LIBRARY)
生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下,没有就手动创建目录,
这样Eclipse会自动把so库打包进apk。
- 这种方式不通用
换一个手机 或者Android版本就不行了
就像以前ffmpeg提供过个基于OMX的H264硬解码一样
- 15楼 丧尽心 2016-08-27 10:42发表 [回复]
- 计算了下渲染时间,貌似只有10ms左右,帧率不可能知己十几帧,后来看了下是摄像头回来的数据就只有十几帧,看样子不是渲染的问题,用这个渲染速度应该可以达到60fps
- 14楼 丧尽心 2016-08-26 19:26发表 [回复]
- 博主你哈,你这个代码我编译通过了,在设备上看也能看到效果,不过图像是黑白的,还有帧率有点低,而且似乎没有了平台的移植性了,在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染,视频会一卡一卡的,有没有什么方法改善?
- 13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]
- 楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!
第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?
第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
- 12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]
- 楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!
第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?
第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
- 9楼 lishi_1991 2015-01-08 17:00发表 [回复]
- 您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目,所以就将您jni层的代码拷贝下来,用cygwin编译无法通过,后来下载了android源码,在Makefile里指定了jni层头文件在android源码的位置,然后就可以编译通过,但是生成apk运行时会报错,“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题,只能猜测可能因为需要链接到android源码下,不知道这个猜测对不对,不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。
- 8楼 lishi_1991 2014-12-23 15:51发表 [回复]
- 您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so"
我查过有人说是因为 ndk版本太高的问题,请问您遇到过这个问题吗 是如何解决的呢
- 7楼 zhutoubenben 2014-12-19 16:51发表 [回复]
- 您好,我尝试过您的代码,没什么问题,但是当我要改为播放整个视频的时候,却发现,这里老是报错:ALOGW("Surface::queueBuffer returned error %d", err);
修改的地方主要是,继承了surfaceview,并在ondraw里面调用了更新画面的代码:
readYUVFile(yuvArray, FILE_NAME);
nativeSetVideoSurface(holder.getSurface());
nativeShowYUV(yuvArray,width,height);
但是并没有成功,请问该怎么去播放整个视频呢?
- Re: zhutoubenben 2014-12-19 16:54发表 [回复]
- 回复zhutoubenben:参考这个 修改的:
http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.html
- Re: zhutoubenben 2014-12-26 23:00发表 [回复]
- 回复zhutoubenben:已经解决,去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放,主要的问题在于说,在播放视频的时候,我在android上层放大和移动坐标的时候发现抖动得厉害,用同样的算法操作图片没有任何问题,但是操作这个就很抖了,尝试,首次调用显示yuv后,后面再也不调用,但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢?
- 2楼 qq_21872707 2014-10-11 17:40发表 [回复]
- 您好,将摄像头的一帧yv12的数据显示出来,是黑白色的,您遇到这个问题嘛?可否把您的测试数据上传一帧上来,之前的失效了。
- 1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]
- 您好,我按照你的编译,出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'