Android用surface直接显示yuv数据（三）

本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据（yv12），开发环境为Android 4.4，全志A23平台。

package com.example.myyuvviewer;  
  
import java.io.File;  
import java.io.FileInputStream;  
import android.app.Activity;  
import android.os.Bundle;  
import android.os.Environment;  
import android.util.Log;  
import android.view.Surface;  
import android.view.SurfaceHolder;  
import android.view.SurfaceHolder.Callback;  
import android.view.SurfaceView;  
  
public class MainActivity extends Activity {  
  
    final private String TAG = "MyYUVViewer";  
    final private String FILE_NAME = "yuv_320_240.yuv";  
    private int width = 320;  
    private int height = 240;  
    private int size = width * height * 3/2;  
      
    @Override  
    protected void onCreate(Bundle savedInstanceState) {  
        super.onCreate(savedInstanceState);  
        setContentView(R.layout.activity_main);  
        nativeTest();  
        SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView);  
        SurfaceHolder holder = surfaceview.getHolder();  
        holder.addCallback(new Callback(){  
  
            @Override  
            public void surfaceCreated(SurfaceHolder holder) {  
                // TODO Auto-generated method stub  
                Log.d(TAG,"surfaceCreated");  
                byte[]yuvArray = new byte[size];  
                readYUVFile(yuvArray, FILE_NAME);  
                nativeSetVideoSurface(holder.getSurface());  
                nativeShowYUV(yuvArray,width,height);  
            }  
  
            @Override  
            public void surfaceChanged(SurfaceHolder holder, int format,  
                    int width, int height) {  
                // TODO Auto-generated method stub  
                  
            }  
  
            @Override  
            public void surfaceDestroyed(SurfaceHolder holder) {  
                // TODO Auto-generated method stub  
                  
            }});  
    }  
      
    private boolean readYUVFile(byte[] yuvArray,String filename){  
        try {  
            // 如果手机插入了SD卡，而且应用程序具有访问SD的权限  
            if (Environment.getExternalStorageState().equals(  
                    Environment.MEDIA_MOUNTED)) {  
                // 获取SD卡对应的存储目录  
                File sdCardDir = Environment.getExternalStorageDirectory();  
                // 获取指定文件对应的输入流  
                FileInputStream fis = new FileInputStream(  
                        sdCardDir.getCanonicalPath() +"/" + filename);  
                fis.read(yuvArray, 0, size);  
                fis.close();  
                return true;  
            } else {  
                return false;  
            }  
        }catch (Exception e) {  
            e.printStackTrace();  
            return false;  
        }  
    }  
    private native void nativeTest();  
    private native boolean nativeSetVideoSurface(Surface surface);  
    private native void nativeShowYUV(byte[] yuvArray,int width,int height);  
    static {  
        System.loadLibrary("showYUV");  
    }  
}  

activity_main.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"    
    android:layout_width="fill_parent"    
    android:layout_height="fill_parent"    
    android:orientation="vertical" >    
    
    <SurfaceView    
        android:id="@+id/surfaceView"    
        android:layout_width="fill_parent"    
        android:layout_height="360dp" />   
          
</LinearLayout>

JNI层，showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.

#include <jni.h>  
#include <android_runtime/AndroidRuntime.h>  
#include <android_runtime/android_view_Surface.h>  
#include <gui/Surface.h>  
#include <assert.h>  
#include <utils/Log.h>  
#include <JNIHelp.h>  
#include <media/stagefright/foundation/ADebug.h>  
#include <ui/GraphicBufferMapper.h>  
#include <cutils/properties.h>  
using namespace android;  
  
static sp<Surface> surface;  
  
static int ALIGN(int x, int y) {  
    // y must be a power of 2.  
    return (x + y - 1) & ~(y - 1);  
}  
  
static void render(  
        const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) {  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    sp<ANativeWindow> mNativeWindow = nativeWindow;  
    int err;  
    int mCropWidth = width;  
    int mCropHeight = height;  
      
    int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间  
    int bufWidth = (mCropWidth + 1) & ~1;//按2对齐  
    int bufHeight = (mCropHeight + 1) & ~1;  
      
    CHECK_EQ(0,  
            native_window_set_usage(  
            mNativeWindow.get(),  
            GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN  
            | GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP));  
  
    CHECK_EQ(0,  
            native_window_set_scaling_mode(  
            mNativeWindow.get(),  
            NATIVE_WINDOW_SCALING_MODE_SCALE_CROP));  
  
    // Width must be multiple of 32???  
    //很重要,配置宽高和和指定颜色空间yuv420  
    //如果这里不配置好，下面deque_buffer只能去申请一个默认宽高的图形缓冲区  
    CHECK_EQ(0, native_window_set_buffers_geometry(  
                mNativeWindow.get(),  
                bufWidth,  
                bufHeight,  
                halFormat));  
      
      
    ANativeWindowBuffer *buf;//描述buffer  
    //申请一块空闲的图形缓冲区  
    if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(),  
            &buf)) != 0) {  
        ALOGW("Surface::dequeueBuffer returned error %d", err);  
        return;  
    }  
  
    GraphicBufferMapper &mapper = GraphicBufferMapper::get();  
  
    Rect bounds(mCropWidth, mCropHeight);  
  
    void *dst;  
    CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程  
                buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址  
  
    if (true){  
        size_t dst_y_size = buf->stride * buf->height;  
        size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小  
        size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小  
          
        memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区  
    }  
  
    CHECK_EQ(0, mapper.unlock(buf->handle));  
  
    if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf,  
            -1)) != 0) {  
        ALOGW("Surface::queueBuffer returned error %d", err);  
    }  
    buf = NULL;  
}  
  
static void nativeTest(){  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
}  
  
static jboolean  
nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    surface = android_view_Surface_getSurface(env, jsurface);  
    if(android::Surface::isValid(surface)){  
        ALOGE("surface is valid ");  
    }else {  
        ALOGE("surface is invalid ");  
        return false;  
    }  
    ALOGE("[%s][%d]
",__FILE__,__LINE__);  
    return true;  
}  
static void  
nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){  
    ALOGE("width = %d,height = %d",width,height);  
    jint len = env->GetArrayLength(yuvData);  
    ALOGE("len = %d",len);  
    jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0);  
    render(byteBuf,len,surface,width,height);  
}  
static JNINativeMethod gMethods[] = {  
    {"nativeTest",                  "()V",                              (void *)nativeTest},  
    {"nativeSetVideoSurface",       "(Landroid/view/Surface;)Z",        (void *)nativeSetVideoSurface},  
    {"nativeShowYUV",               "([BII)V",                          (void *)nativeShowYUV},  
};  
  
static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity";  
  
// This function only registers the native methods  
static int register_com_example_myyuvviewer(JNIEnv *env)  
{  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    return AndroidRuntime::registerNativeMethods(env,  
                kClassPathName, gMethods, NELEM(gMethods));  
}  
  
jint JNI_OnLoad(JavaVM* vm, void* reserved)  
{  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    JNIEnv* env = NULL;  
    jint result = -1;  
  
    if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) {  
        ALOGE("ERROR: GetEnv failed
");  
        goto bail;  
    }  
    assert(env != NULL);  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
   if (register_com_example_myyuvviewer(env) < 0) {  
        ALOGE("ERROR: MediaPlayer native registration failed
");  
        goto bail;  
    }  
  
    /* success -- return valid version number */  
    result = JNI_VERSION_1_4;  
  
bail:  
    return result;  
}  

Android.mk

LOCAL_PATH:= $(call my-dir)  
include $(CLEAR_VARS)  
  
LOCAL_SRC_FILES:=   
    showYUV.cpp  
      
LOCAL_SHARED_LIBRARIES :=   
    libcutils   
    libutils   
    libbinder   
    libui   
    libgui   
    libandroid_runtime   
    libstagefright_foundation  
      
LOCAL_MODULE:= libshowYUV  
  
LOCAL_MODULE_TAGS := tests  
  
include $(BUILD_SHARED_LIBRARY) 

生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下，没有就手动创建目录，

这样Eclipse会自动把so库打包进apk。

这种方式不通用

换一个手机 或者Android版本就不行了

就像以前ffmpeg提供过个基于OMX的H264硬解码一样

15楼 丧尽心 2016-08-27 10:42发表 [回复]

计算了下渲染时间，貌似只有10ms左右，帧率不可能知己十几帧，后来看了下是摄像头回来的数据就只有十几帧，看样子不是渲染的问题，用这个渲染速度应该可以达到60fps

14楼 丧尽心 2016-08-26 19:26发表 [回复]

博主你哈，你这个代码我编译通过了，在设备上看也能看到效果，不过图像是黑白的，还有帧率有点低，而且似乎没有了平台的移植性了，在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染，视频会一卡一卡的，有没有什么方法改善？

13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？

12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]

楼主你好，感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据，经过我的实验，完全是OK的~，在此有两个疑问，还求楼主解答！

第一：这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染，这个过程是由显卡直接完成的吗？

第二：关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render，直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染，这种方式和上面的有什么区别呢？原理是什么？

11楼 果子林里的一滴清水 2015-12-08 16:31发表 [回复]

楼主 链接已经无法访问，能再提供相关链接麽？还有楼主是在linux 下使用ndk编译的还是windows下编译的？？

10楼 长江很多号 2015-08-22 22:00发表 [回复]

嗯，在硬件公司干活，分分钟可以编译NDK。
嗯，楼主研究的还是蛮深的，不错！谢谢分享^_^

9楼 lishi_1991 2015-01-08 17:00发表 [回复]

您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目，所以就将您jni层的代码拷贝下来，用cygwin编译无法通过，后来下载了android源码，在Makefile里指定了jni层头文件在android源码的位置，然后就可以编译通过，但是生成apk运行时会报错，“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题，只能猜测可能因为需要链接到android源码下，不知道这个猜测对不对，不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。

8楼 lishi_1991 2014-12-23 15:51发表 [回复]

您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so" 
我查过有人说是因为 ndk版本太高的问题，请问您遇到过这个问题吗 是如何解决的呢

7楼 zhutoubenben 2014-12-19 16:51发表 [回复]

您好，我尝试过您的代码，没什么问题，但是当我要改为播放整个视频的时候，却发现，这里老是报错：ALOGW("Surface::queueBuffer returned error %d", err); 
修改的地方主要是，继承了surfaceview，并在ondraw里面调用了更新画面的代码：
readYUVFile(yuvArray, FILE_NAME); 
nativeSetVideoSurface(holder.getSurface()); 
nativeShowYUV(yuvArray,width,height); 
但是并没有成功，请问该怎么去播放整个视频呢？

Re: zhutoubenben 2014-12-19 16:54发表 [回复]

回复zhutoubenben：参考这个 修改的：
http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.html

Re: zhutoubenben 2014-12-26 23:00发表 [回复]

回复zhutoubenben：已经解决，去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放，主要的问题在于说，在播放视频的时候，我在android上层放大和移动坐标的时候发现抖动得厉害，用同样的算法操作图片没有任何问题，但是操作这个就很抖了，尝试，首次调用显示yuv后，后面再也不调用，但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢？

6楼 水木酱 2014-11-28 10:01发表 [回复]

博主您好，完整的android我已经编译过了，然后我该怎么设置环境来编译上面的代码呢？

5楼 liweiran0 2014-11-05 13:45发表 [回复]

编译成功，不过博主这个只读取了一帧数据吧，没有做一个循环所以只显示1帧图片？

Re: liweiran0 2014-11-05 13:45发表 [回复]

回复liweiran0：而且是ndk下编译的，没任何问题，除了需要拷贝几个.so文件

4楼 marmot18 2014-10-16 15:21发表 [回复]

只能显示一帧吗？显示了第一帧就停了呀，没有动画

3楼 marmot18 2014-10-16 10:11发表 [回复]

YUV数据下载不了

2楼 qq_21872707 2014-10-11 17:40发表 [回复]

您好，将摄像头的一帧yv12的数据显示出来，是黑白色的，您遇到这个问题嘛？可否把您的测试数据上传一帧上来，之前的失效了。

1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]

您好，我按照你的编译，出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'

Re: _缥缈孤鸿影_ 2014-08-05 19:51发表 [回复] [引用] [举报]

回复小刚3：说实话，我觉得NDK下编译应该是编译不过的。至于你这个错误，你可以参考一下http://www.cnblogs.com/soniclq/archive/2012/07/05/2577213.html。