Android用surface直接显示yuv数据(三)

摘要:
本文使用Java创建UI,并结合JNI层操作界面,以直接显示yuv数据。开发环境为Android 4.4和全知A23平台。

本文用Java创建UI并联合JNI层操作surface来直接显示yuv数据(yv12),开发环境为Android 4.4,全志A23平台。

package com.example.myyuvviewer;  
  
import java.io.File;  
import java.io.FileInputStream;  
import android.app.Activity;  
import android.os.Bundle;  
import android.os.Environment;  
import android.util.Log;  
import android.view.Surface;  
import android.view.SurfaceHolder;  
import android.view.SurfaceHolder.Callback;  
import android.view.SurfaceView;  
  
public class MainActivity extends Activity {  
  
    final private String TAG = "MyYUVViewer";  
    final private String FILE_NAME = "yuv_320_240.yuv";  
    private int width = 320;  
    private int height = 240;  
    private int size = width * height * 3/2;  
      
    @Override  
    protected void onCreate(Bundle savedInstanceState) {  
        super.onCreate(savedInstanceState);  
        setContentView(R.layout.activity_main);  
        nativeTest();  
        SurfaceView surfaceview = (SurfaceView) findViewById(R.id.surfaceView);  
        SurfaceHolder holder = surfaceview.getHolder();  
        holder.addCallback(new Callback(){  
  
            @Override  
            public void surfaceCreated(SurfaceHolder holder) {  
                // TODO Auto-generated method stub  
                Log.d(TAG,"surfaceCreated");  
                byte[]yuvArray = new byte[size];  
                readYUVFile(yuvArray, FILE_NAME);  
                nativeSetVideoSurface(holder.getSurface());  
                nativeShowYUV(yuvArray,width,height);  
            }  
  
            @Override  
            public void surfaceChanged(SurfaceHolder holder, int format,  
                    int width, int height) {  
                // TODO Auto-generated method stub  
                  
            }  
  
            @Override  
            public void surfaceDestroyed(SurfaceHolder holder) {  
                // TODO Auto-generated method stub  
                  
            }});  
    }  
      
    private boolean readYUVFile(byte[] yuvArray,String filename){  
        try {  
            // 如果手机插入了SD卡,而且应用程序具有访问SD的权限  
            if (Environment.getExternalStorageState().equals(  
                    Environment.MEDIA_MOUNTED)) {  
                // 获取SD卡对应的存储目录  
                File sdCardDir = Environment.getExternalStorageDirectory();  
                // 获取指定文件对应的输入流  
                FileInputStream fis = new FileInputStream(  
                        sdCardDir.getCanonicalPath() +"/" + filename);  
                fis.read(yuvArray, 0, size);  
                fis.close();  
                return true;  
            } else {  
                return false;  
            }  
        }catch (Exception e) {  
            e.printStackTrace();  
            return false;  
        }  
    }  
    private native void nativeTest();  
    private native boolean nativeSetVideoSurface(Surface surface);  
    private native void nativeShowYUV(byte[] yuvArray,int width,int height);  
    static {  
        System.loadLibrary("showYUV");  
    }  
}  

activity_main.xml

<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"    
    android:layout_width="fill_parent"    
    android:layout_height="fill_parent"    
    android:orientation="vertical" >    
    
    <SurfaceView    
        android:id="@+id/surfaceView"    
        android:layout_width="fill_parent"    
        android:layout_height="360dp" />   
          
</LinearLayout>

JNI层,showYUV.cpp(libshowyuv.so)采用动态注册JNI函数的方法.

#include <jni.h>  
#include <android_runtime/AndroidRuntime.h>  
#include <android_runtime/android_view_Surface.h>  
#include <gui/Surface.h>  
#include <assert.h>  
#include <utils/Log.h>  
#include <JNIHelp.h>  
#include <media/stagefright/foundation/ADebug.h>  
#include <ui/GraphicBufferMapper.h>  
#include <cutils/properties.h>  
using namespace android;  
  
static sp<Surface> surface;  
  
static int ALIGN(int x, int y) {  
    // y must be a power of 2.  
    return (x + y - 1) & ~(y - 1);  
}  
  
static void render(  
        const void *data, size_t size, const sp<ANativeWindow> &nativeWindow,int width,int height) {  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    sp<ANativeWindow> mNativeWindow = nativeWindow;  
    int err;  
    int mCropWidth = width;  
    int mCropHeight = height;  
      
    int halFormat = HAL_PIXEL_FORMAT_YV12;//颜色空间  
    int bufWidth = (mCropWidth + 1) & ~1;//按2对齐  
    int bufHeight = (mCropHeight + 1) & ~1;  
      
    CHECK_EQ(0,  
            native_window_set_usage(  
            mNativeWindow.get(),  
            GRALLOC_USAGE_SW_READ_NEVER | GRALLOC_USAGE_SW_WRITE_OFTEN  
            | GRALLOC_USAGE_HW_TEXTURE | GRALLOC_USAGE_EXTERNAL_DISP));  
  
    CHECK_EQ(0,  
            native_window_set_scaling_mode(  
            mNativeWindow.get(),  
            NATIVE_WINDOW_SCALING_MODE_SCALE_CROP));  
  
    // Width must be multiple of 32???  
    //很重要,配置宽高和和指定颜色空间yuv420  
    //如果这里不配置好,下面deque_buffer只能去申请一个默认宽高的图形缓冲区  
    CHECK_EQ(0, native_window_set_buffers_geometry(  
                mNativeWindow.get(),  
                bufWidth,  
                bufHeight,  
                halFormat));  
      
      
    ANativeWindowBuffer *buf;//描述buffer  
    //申请一块空闲的图形缓冲区  
    if ((err = native_window_dequeue_buffer_and_wait(mNativeWindow.get(),  
            &buf)) != 0) {  
        ALOGW("Surface::dequeueBuffer returned error %d", err);  
        return;  
    }  
  
    GraphicBufferMapper &mapper = GraphicBufferMapper::get();  
  
    Rect bounds(mCropWidth, mCropHeight);  
  
    void *dst;  
    CHECK_EQ(0, mapper.lock(//用来锁定一个图形缓冲区并将缓冲区映射到用户进程  
                buf->handle, GRALLOC_USAGE_SW_WRITE_OFTEN, bounds, &dst));//dst就指向图形缓冲区首地址  
  
    if (true){  
        size_t dst_y_size = buf->stride * buf->height;  
        size_t dst_c_stride = ALIGN(buf->stride / 2, 16);//1行v/u的大小  
        size_t dst_c_size = dst_c_stride * buf->height / 2;//u/v的大小  
          
        memcpy(dst, data, dst_y_size + dst_c_size*2);//将yuv数据copy到图形缓冲区  
    }  
  
    CHECK_EQ(0, mapper.unlock(buf->handle));  
  
    if ((err = mNativeWindow->queueBuffer(mNativeWindow.get(), buf,  
            -1)) != 0) {  
        ALOGW("Surface::queueBuffer returned error %d", err);  
    }  
    buf = NULL;  
}  
  
static void nativeTest(){  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
}  
  
static jboolean  
nativeSetVideoSurface(JNIEnv *env, jobject thiz, jobject jsurface){  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    surface = android_view_Surface_getSurface(env, jsurface);  
    if(android::Surface::isValid(surface)){  
        ALOGE("surface is valid ");  
    }else {  
        ALOGE("surface is invalid ");  
        return false;  
    }  
    ALOGE("[%s][%d]
",__FILE__,__LINE__);  
    return true;  
}  
static void  
nativeShowYUV(JNIEnv *env, jobject thiz,jbyteArray yuvData,jint width,jint height){  
    ALOGE("width = %d,height = %d",width,height);  
    jint len = env->GetArrayLength(yuvData);  
    ALOGE("len = %d",len);  
    jbyte *byteBuf = env->GetByteArrayElements(yuvData, 0);  
    render(byteBuf,len,surface,width,height);  
}  
static JNINativeMethod gMethods[] = {  
    {"nativeTest",                  "()V",                              (void *)nativeTest},  
    {"nativeSetVideoSurface",       "(Landroid/view/Surface;)Z",        (void *)nativeSetVideoSurface},  
    {"nativeShowYUV",               "([BII)V",                          (void *)nativeShowYUV},  
};  
  
static const char* const kClassPathName = "com/example/myyuvviewer/MainActivity";  
  
// This function only registers the native methods  
static int register_com_example_myyuvviewer(JNIEnv *env)  
{  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    return AndroidRuntime::registerNativeMethods(env,  
                kClassPathName, gMethods, NELEM(gMethods));  
}  
  
jint JNI_OnLoad(JavaVM* vm, void* reserved)  
{  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
    JNIEnv* env = NULL;  
    jint result = -1;  
  
    if (vm->GetEnv((void**) &env, JNI_VERSION_1_4) != JNI_OK) {  
        ALOGE("ERROR: GetEnv failed
");  
        goto bail;  
    }  
    assert(env != NULL);  
    ALOGE("[%s]%d",__FILE__,__LINE__);  
   if (register_com_example_myyuvviewer(env) < 0) {  
        ALOGE("ERROR: MediaPlayer native registration failed
");  
        goto bail;  
    }  
  
    /* success -- return valid version number */  
    result = JNI_VERSION_1_4;  
  
bail:  
    return result;  
}  

Android.mk

LOCAL_PATH:= $(call my-dir)  
include $(CLEAR_VARS)  
  
LOCAL_SRC_FILES:=   
    showYUV.cpp  
      
LOCAL_SHARED_LIBRARIES :=   
    libcutils   
    libutils   
    libbinder   
    libui   
    libgui   
    libandroid_runtime   
    libstagefright_foundation  
      
LOCAL_MODULE:= libshowYUV  
  
LOCAL_MODULE_TAGS := tests  
  
include $(BUILD_SHARED_LIBRARY) 

生成的so文件复制到Java项目里 与src并列的libs/armeabi目录下,没有就手动创建目录,

这样Eclipse会自动把so库打包进apk。

这种方式不通用

换一个手机 或者Android版本就不行了

就像以前ffmpeg提供过个基于OMX的H264硬解码一样
15楼 丧尽心 2016-08-27 10:42发表 [回复]
Android用surface直接显示yuv数据(三)第1张
计算了下渲染时间,貌似只有10ms左右,帧率不可能知己十几帧,后来看了下是摄像头回来的数据就只有十几帧,看样子不是渲染的问题,用这个渲染速度应该可以达到60fps
14楼 丧尽心 2016-08-26 19:26发表 [回复]
Android用surface直接显示yuv数据(三)第1张
博主你哈,你这个代码我编译通过了,在设备上看也能看到效果,不过图像是黑白的,还有帧率有点低,而且似乎没有了平台的移植性了,在其它平台的机子上无法运行。最主要的是这个貌似是用软件渲染,视频会一卡一卡的,有没有什么方法改善?
13楼 冰咖啡飞飞飞12138 2016-01-20 14:09发表 [回复]
Android用surface直接显示yuv数据(三)第3张
楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!

第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?

第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
12楼 冰咖啡飞飞飞12138 2016-01-20 14:08发表 [回复]
Android用surface直接显示yuv数据(三)第3张
楼主你好,感谢你介绍的SoftwareRenderer方式来直接渲染YUV数据,经过我的实验,完全是OK的~,在此有两个疑问,还求楼主解答!

第一:这里的SoftwareRenderer方式是属于AwesomeLocalRenderer里的直接渲染,这个过程是由显卡直接完成的吗?

第二:关于HardwareRenderer方式是属于AwesomeNativeWindowRenderer里的直接硬件Render,直接调用的mNativeWindow->queueBuffer(mNativeWindow.get(), buffer->graphicBuffer().get(), -1);来渲染,这种方式和上面的有什么区别呢?原理是什么?
11楼 果子林里的一滴清水 2015-12-08 16:31发表 [回复]
Android用surface直接显示yuv数据(三)第5张
楼主 链接已经无法访问,能再提供相关链接麽?还有楼主是在linux 下使用ndk编译的还是windows下编译的??
10楼 长江很多号 2015-08-22 22:00发表 [回复]
Android用surface直接显示yuv数据(三)第6张
嗯,在硬件公司干活,分分钟可以编译NDK。
嗯,楼主研究的还是蛮深的,不错!谢谢分享^_^
9楼 lishi_1991 2015-01-08 17:00发表 [回复]
Android用surface直接显示yuv数据(三)第7张
您好 很感激博主能够分享自己的经验。
我最近也在做android显示yuv的项目,所以就将您jni层的代码拷贝下来,用cygwin编译无法通过,后来下载了android源码,在Makefile里指定了jni层头文件在android源码的位置,然后就可以编译通过,但是生成apk运行时会报错,“dlopen failed: cannot locate symbol "_ZNK7android7RefBase9incStrongEPKv" referenced by” 而我查阅资料找不到类似问题,只能猜测可能因为需要链接到android源码下,不知道这个猜测对不对,不知道你是在ndk环境下编译的呢还是在安卓源码环境下编译的。
8楼 lishi_1991 2014-12-23 15:51发表 [回复]
Android用surface直接显示yuv数据(三)第7张
您好 我编译通过了您的jni生成了.so文件 也放在了libs/armeabi/目录下 但是执行apk的时候总会抱错 dlopen failed: cannot locate symbol "_ZNK7android7RefBase9decStrongEPKv" referenced by "libshowYUV.so" 
我查过有人说是因为 ndk版本太高的问题,请问您遇到过这个问题吗 是如何解决的呢
7楼 zhutoubenben 2014-12-19 16:51发表 [回复]
Android用surface直接显示yuv数据(三)第9张
您好,我尝试过您的代码,没什么问题,但是当我要改为播放整个视频的时候,却发现,这里老是报错:ALOGW("Surface::queueBuffer returned error %d", err); 
修改的地方主要是,继承了surfaceview,并在ondraw里面调用了更新画面的代码:
readYUVFile(yuvArray, FILE_NAME); 
nativeSetVideoSurface(holder.getSurface()); 
nativeShowYUV(yuvArray,width,height); 
但是并没有成功,请问该怎么去播放整个视频呢?
Re: zhutoubenben 2014-12-19 16:54发表 [回复]
Android用surface直接显示yuv数据(三)第9张
回复zhutoubenben:参考这个 修改的:
http://www.cnblogs.com/devinzhang/archive/2012/01/20/2328002.html
Re: zhutoubenben 2014-12-26 23:00发表 [回复]
Android用surface直接显示yuv数据(三)第9张
回复zhutoubenben:已经解决,去掉canvas=holder.lockCanvas(); 的调用就行了。
现在能够流畅播放,主要的问题在于说,在播放视频的时候,我在android上层放大和移动坐标的时候发现抖动得厉害,用同样的算法操作图片没有任何问题,但是操作这个就很抖了,尝试,首次调用显示yuv后,后面再也不调用,但是还是会抖。不知有没有jni层的操作方法能够放大移动这个画面呢?
6楼 水木酱 2014-11-28 10:01发表 [回复]
Android用surface直接显示yuv数据(三)第12张
博主您好,完整的android我已经编译过了,然后我该怎么设置环境来编译上面的代码呢?
5楼 liweiran0 2014-11-05 13:45发表 [回复]
Android用surface直接显示yuv数据(三)第13张
编译成功,不过博主这个只读取了一帧数据吧,没有做一个循环所以只显示1帧图片?
Re: liweiran0 2014-11-05 13:45发表 [回复]
Android用surface直接显示yuv数据(三)第13张
回复liweiran0:而且是ndk下编译的,没任何问题,除了需要拷贝几个.so文件
4楼 marmot18 2014-10-16 15:21发表 [回复]
Android用surface直接显示yuv数据(三)第15张
只能显示一帧吗?显示了第一帧就停了呀,没有动画
3楼 marmot18 2014-10-16 10:11发表 [回复]
Android用surface直接显示yuv数据(三)第15张
YUV数据下载不了
2楼 qq_21872707 2014-10-11 17:40发表 [回复]
Android用surface直接显示yuv数据(三)第17张
您好,将摄像头的一帧yv12的数据显示出来,是黑白色的,您遇到这个问题嘛?可否把您的测试数据上传一帧上来,之前的失效了。
1楼 小刚3 2014-07-29 22:00发表 [回复] [引用] [举报]
Android用surface直接显示yuv数据(三)第18张
您好,我按照你的编译,出现/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:65: error: undefined reference to 'android::Mutex::lock()'
/home/lg/secDisk/android/android-ndk-r9d/toolchains/arm-linux-androideabi-4.6/prebuilt/linux-x86_64/bin/../lib/gcc/arm-linux-androideabi/4.6/../../../../arm-linux-androideabi/bin/ld: /home/lg/secDisk/android/workspace/YuvDisplay/obj/local/armeabi/objs/showYUV/showYUV.o: in function nativeShowYUV(_JNIEnv*, _jobject*, _jbyteArray*, int, int):/home/lg/work/android/android_src/system/core/include/utils/Mutex.h:67: error: undefined reference to 'android::Mutex::unlock()'
Re: _缥缈孤鸿影_ 2014-08-05 19:51发表 [回复] [引用] [举报]
Android用surface直接显示yuv数据(三)第19张
回复小刚3:说实话,我觉得NDK下编译应该是编译不过的。至于你这个错误,你可以参考一下http://www.cnblogs.com/soniclq/archive/2012/07/05/2577213.html。

免责声明:文章转载自《Android用surface直接显示yuv数据(三)》仅用于学习参考。如对内容有疑问,请及时联系本站处理。

上篇开启这个隐藏功能,让你的Google浏览器下载速度翻倍!C#调用CAD2018进行绘图下篇

宿迁高防,2C2G15M,22元/月;香港BGP,2C5G5M,25元/月 雨云优惠码:MjYwNzM=

相关文章

android studio 将自己的项目生成jar包

很多情况下我们开发的项目不是一个完整的app,而是完成一部分功能,供别人的app使用的情况。这时就需要将我们的项目打包生成jar或者arr库文件,让别人的app导入我们的jar包,就能直接使用我们项目中封装的功能,例如,我们常用的v4,v7包,网络请求包httpClient等等,都是作为我们app功能的一部分引入的,这种站在巨人的肩膀上开发的模式很大程度...

文件签名&amp;lt;魔塔50层&amp;gt;android反编译破解

发一下牢骚和主题无关: 缘由:该游戏作者有点可爱,原来就是拿别人的游戏,还在游戏中参加积分的轨制,打到20层后,需要积分。看不惯,就把它破解了,打到20层后,直接跳过要积分进程。 本文不提供破解后的安装包! 进程: 首先下载目标apk,我是从这里下载的:http://www.wandoujia.com/apps/com.ss.magicTower 然后下载...

Android ORM——初识greenDAO 3及使用greenDAO 3前应该掌握的一些知识点(一)

引言 总所周知,SQLite——内嵌于Android中一个占用内存极小的关系型,作为我们Android存储领域中重要的一员 ,或多或少都曾接触到数据库。即使Android系统中提供了很多操作SQLite的API,可是在业务开发中还是须要手动去编写原生SQL语句,这不仅复杂、不好维护。更重要的是不高效,经常会由于SQL语句写错而添加了开发成本,于是便出现...

Android SDK +Eclipse+ADT+CDT+NDK 开发环境在windows 7下的搭建

AndroidSDK+Eclipse+ADT+CDT+NDK 开发环境在windows 7下的搭建 这几天一直在研究 AndroidSDKC/C++平台的搭建,尽管以前有成功在Windows XP做过,由于当时没有留下有用的记录,花了很多的冤枉时间,今天写出来以备后用。由于Android SDK和Eclipse都是用Java编写的,因此需要先在Windows...

Android6.0 旋转屏幕(五)WMS启动应用流程(屏幕方向相关)

一、强制设置方向 1.Activity 如果要强制设置一个Activity的横竖屏可以通过Manifest去设置,跟Activity相关的信息都会保存在ActivityInfo当中。 android:screenOrientation=["unspecified" | "user" | "behind" | "landscape" | "portrait...

安卓开发复习笔记(一)

第一章 安卓应用开发特色: • 四大组件Activity,Service,Broadcast Receiver,Content Provider ️• SQLite 数据库轻量级,运算速度极快的嵌入式关系型数据库,不仅支持sql语句,还可以通过安卓封装好的API进行操作,让存储和读取数据变得特别方便。 • 地理位置定位Android手机都内置GPS,结合强...