图像格式转化在人脸识别应用中的实践

ArcFace 2.0 API目前支持多种图像格式：BGR24、NV21、NV12、I420、YUYV（Android、IOS只支持其中的部分）。接下来将开始介绍这几种图像格式以及部分转换方式。
一、相关图像颜色空间介绍
1.RGB颜色空间
RGB颜色空间以Red、Green、Blue三种基本色为基础，进行不同程度的叠加，产生丰富而广泛的颜色，所以俗称三基色模式。
常见的RGB格式有：RGB_565、RGB_888、ARGB_8888、ARGB_4444等。
2.YUV颜色空间
在YUV颜色空间中，Y用来表示亮度，U和V用来表示色度。
常见的YUV格式有以下几大类：
planar: Y、U、V全部连续存储，如I420、YV12
packed: Y、U、V交叉存储，如YUYV
semi-planar: Y连续存储，U、V交叉存储，如NV21、NV12
二、相关图像格式介绍
1.BGR24图像格式
BGR24图像格式是一种采用24bpp(bit per pixel)的格式。每个颜色通道B、G、R各占8bpp。
排列方式如：

B G R B G R B G R B G R B G R B G R B G R B G R

B G R B G R B G R B G R B G R B G R B G R B G R

B G R B G R B G R B G R B G R B G R B G R B G R

B G R B G R B G R B G R B G R B G R B G R B G

　　

2.NV21图像格式
NV21图像格式属于 YUV颜色空间中的YUV420SP格式，每四个Y分量共用一组U分量和V分量，Y连续排序，U与V交叉排序。
排列方式如：

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

V U V U V U V U
V U V U V U V U

3.NV12图像格式
NV12图像格式属于 YUV颜色空间中的YUV420SP格式，每四个Y分量共用一组U分量和V分量，Y连续排序，U与V交叉排序（NV12和NV21只是U与V的位置相反）。
排列方式如：

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

U V U V U V U V

U V U V U V U V

　　

4.I420图像格式
I420图像格式属于 YUV颜色空间中的YUV420P格式，每四个Y分量共用一组U分量和V分量，Y、U、V各自连续排序。
排列方式如：

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

U U U U U U U U 
V V V V V V V V 　

5.YV12图像格式
YV12图像格式属于 YUV颜色空间中的YUV420P格式，每四个Y分量共用一组U分量和V分量，Y、U、V各自连续排序（YV12和I420只是U与V的位置相反）。
排列方式如：

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

Y Y Y Y Y Y Y Y
Y Y Y Y Y Y Y Y

V V V V V V V V 
U U U U U U U U 

6.YUYV图像格式
YUYV图像格式属于 YUV颜色空间中的YUV422格式，每两个Y分量公用一组U分量和V分量，Y、U、V交叉排序。
排列方式如：

Y U Y V Y U Y V Y U Y V Y U Y V

Y U Y V Y U Y V Y U Y V Y U Y V

Y U Y V Y U Y V Y U Y V Y U Y V

Y U Y V Y U Y V Y U Y V Y U Y V

三、图像格式转换
由于图像的格式多种多样，转换的方法也不胜枚举，以下只列出部分的图像转换参考代码。
1.从Bitmap中获取ARGB_8888图像格式数据(Android平台)
Bitmap支持多种格式：ALPHA_8，RGB_565，ARGB_4444，ARGB_8888，RGBA_F16，HARDWARE。我们目前主要选择ARGB_8888进行格式转换。
我们可使用Bitmap类中的
public void getPixels(@ColorInt int[] pixels, int offset, int stride, int x, int y, int width, int height)
方法获取int[]类型的argb数据或
public void copyPixelsToBuffer (Buffer dst)方法获取byte[]类型的ARGB_8888数据。
2.ARGB_8888转换为NV21

根据一个比较常见的rgb转yuv的算法：

int y = (66 * r + 129 * g + 25 * b + 128 >> 8) + 16;
int u = (-38 * r - 74 * g + 112 * b + 128 >> 8) + 128;
int v = (112 * r - 94 * g - 18 * b + 128 >> 8) + 128;

即可编写ARGB转NV21的方法。

int[]类型的ARGB_8888数据转换为NV21：

private static byte[] argbToNv21(int[] argb, int width, int height) {
int yIndex = 0;
int uvIndex = width * height;
int argbIndex = 0;
byte[] nv21 = new byte[width * height * 3 / 2];
for (int j = 0; j < height; ++j) {
for (int i = 0; i < width; ++i) {
//对于int型color数据，格式为0xAARRGGBB，可进行与运算后移位取对应A R G B，
//但是该YUV转换公式中不需要ALPHA，因此我们只需要取R G B 即可。
int r = (argb[argbIndex] & 0xFF0000) >> 16;
int g = (argb[argbIndex] & 0x00FF00) >> 8;
int b = argb[argbIndex] & 0x0000FF;
//获取该像素点的R G B，并转换为Y U V，但byte范围是0x00~0xFF，因此在赋值时还需进行判断
int y = (66 * r + 129 * g + 25 * b + 128 >> 8) + 16;
int u = (-38 * r - 74 * g + 112 * b + 128 >> 8) + 128;
int v = (112 * r - 94 * g - 18 * b + 128 >> 8) + 128;
nv21[yIndex++] = (byte) (y < 0 ? 0 : (y > 0xFF ? 0xFF : y));
if ((j & 1) == 0 && (argbIndex & 1) == 0 && uvIndex < nv21.length - 2) {
nv21[uvIndex++] = (byte) (v < 0 ? 0 : (v > 0xFF ? 0xFF : v));
nv21[uvIndex++] = (byte) (u < 0 ? 0 : (u > 0xFF ? 0xFF : u));
}
++argbIndex;
}
}
return nv21;
}

byte[]类型的ARGB_8888数据转换为NV21(原理同方法1)：

private static byte[] argbToNv21(byte[] argb, int width, int height) {
int yIndex = 0;
int uvIndex = width * height;
int argbIndex = 0;
byte[] nv21 = new byte[width * height * 3 / 2];
for (int j = 0; j < height; ++j) {
for (int i = 0; i < width; ++i) {
argbIndex++;
int r = argb[argbIndex++];
int g = argb[argbIndex++];
int b = argb[argbIndex++];
/**
* byte在强制转换为int时高位会自动以符号位扩充，如：
* 0x80(byte类型，十六进制) -> 10000000(byte类型，二进制) -> 11111111_11111111_11111111_10000000(int类型，二进制) -> -128(int类型，十进制)
* 0x7F(byte类型，十六进制) -> 01111111(byte类型，二进制) -> 00000000_00000000_00000000_01111111(int类型，二进制) -> 127(int类型，十进制)
* 因此需要取低八位获取原byte的无符号值
*/
r &= 0x000000FF;
g &= 0x000000FF;
b &= 0x000000FF;
int y = ((66 * r + 129 * g + 25 * b + 128 >> 8) + 16);
int u = ((-38 * r - 74 * g + 112 * b + 128 >> 8) + 128);
int v = ((112 * r - 94 * g - 18 * b + 128 >> 8) + 128);
nv21[yIndex++] = (byte) (y > 0xFF ? 0xFF : (y < 0 ? 0 : y));
if ((j & 1) == 0 && ((argbIndex >> 2) & 1) == 0 && uvIndex < nv21.length - 2) {
nv21[uvIndex++] = (byte) (v > 0xFF ? 0xFF : (v < 0 ? 0 : v));
nv21[uvIndex++] = (byte) (u > 0xFF ? 0xFF : (u < 0 ? 0 : u));
}
}
}
return nv21;
}

　　

3.ARGB_8888转换为BGR_24
举个例子，对于4x2的图片，ARGB_8888格式内容为：

A1 R1 G1 B1  A2 R2 G2 B2  A3 R3 G3 B3  A4 R4 G4 B4
A5 R5 G5 B5  A6 R6 G6 B6  A7 R7 G7 B7  A8 R8 G8 B8

那么若需要转化为BGR_24，内容将变成：

B1 G1 R1 B2 G2 R2 B3 G3 R3 B4 G4 R4
B5 G5 R5 B6 G6 R6 B7 G7 R7 B8 G8 R8

BGR_24内容为3个byte一组，ARGB_8888内容为4个byte一组。因此，对于第一组ARGB_8888(A1 R1 G1 B1)和第一组BGR_24(B1 G1 R1)，其对应关系为：

bgr24[0] = argb8888[3];
bgr24[1] = argb8888[2];
bgr24[2] = argb8888[1];

对应的转换代码：

public static byte[] argb8888ToBgr24(byte[] argb8888) {
if (argb8888 == null){
throw new IllegalArgumentException("invalid image params!");
}
int groupNum = argb8888.length / 4;
byte[] bgr24 = new byte[groupNum * 3];
int bgr24Index = 0;
int argb8888Index = 0;
for (int i = 0; i < groupNum; i++) {
bgr24[bgr24Index + 0] = argb8888[argb8888Index + 2];
bgr24[bgr24Index + 1] = argb8888[argb8888Index + 1];
bgr24[bgr24Index + 2] = argb8888[argb8888Index + 0];
bgr24Index += 3;
argb8888Index += 4;
}
return bgr24;
}

4.NV12和NV21的互换
NV21和NV12只是U与V的数据位置不同，因此，NV21转换为NV12的代码同样适用于NV12转换为NV21。可参考如下代码：

public static byte[] nv21ToNv12(byte[] nv21, int width, int height) {
if (nv21 == null || nv21.length == 0 || width * height * 3 / 2 != nv21.length) {
throw new IllegalArgumentException("invalid image params!");
}
final int ySize = width * height;
int totalSize = width * height * 3 / 2;

byte[] nv12 = new byte[nv21.length];
//复制Y
System.arraycopy(nv21, 0, nv12, 0, ySize);
//UV互换
for (int uvIndex = ySize; uvIndex < totalSize; uvIndex += 2) {
nv12[uvIndex] = nv21[uvIndex + 1];
nv12[uvIndex + 1] = nv21[uvIndex];
}
return nv12;
}

5.NV21转YV12
NV21转化为YV12的过程主要是将其UV数据的交叉排序修改为连续排序。可参考如下代码：

public static byte[] nv21ToYv12(byte[] nv21, int width, int height) {
if (nv21 == null || nv21.length == 0 || width * height * 3 / 2 != nv21.length) {
throw new IllegalArgumentException("invalid image params!");
}
final int ySize = width * height;
int totalSize = width * height * 3 / 2;
byte[] yv12 = new byte[nv21.length];
int yv12UIndex = ySize;
int yv12VIndex = ySize * 5 / 4;
//复制Y
System.arraycopy(nv21, 0, yv12, 0, ySize);
//复制UV
for (int uvIndex = ySize; uvIndex < totalSize; uvIndex += 2) {
yv12[yv12UIndex++] = nv21[uvIndex];
yv12[yv12VIndex++] = nv21[uvIndex + 1];
}
return yv12;
}

6.YUYV转NV12
在YUYV格式中，两个Y共用一组U和V，而NV12是四个Y公用一组U和V，因此，若需要将YUYV转化为NV12，需要舍弃一半的U和V。可参考如下代码：

public static byte[] yuyvToNv12(byte[] yuyv, int width, int height) {
if (yuyv == null || yuyv.length == 0) {
throw new IllegalArgumentException("invalid image params!");
}
int ySize = yuyv.length / 2;
byte[] nv12 = new byte[yuyv.length * 3 / 4];
int nv12YIndex = 0;
int nv12UVIndex = ySize;
boolean copyUV = false;
int lineDataSize = width * 2;
for (int i = 0, yuyvIndex = 0; i < height; i++, yuyvIndex += lineDataSize) {
if (copyUV) {
for (int lineOffset = 0; lineOffset < lineDataSize; lineOffset += 4) {
//复制Y
nv12[nv12YIndex++] = yuyv[yuyvIndex + lineOffset];
nv12[nv12YIndex++] = yuyv[yuyvIndex + lineOffset + 2];
//复制UV
nv12[nv12UVIndex++] = yuyv[yuyvIndex + lineOffset + 1];
nv12[nv12UVIndex++] = yuyv[yuyvIndex + lineOffset + 3];
}
} else {
for (int lineOffset = 0; lineOffset < lineDataSize; lineOffset += 4) {
//复制Y
nv12[nv12YIndex++] = yuyv[yuyvIndex + lineOffset];
nv12[nv12YIndex++] = yuyv[yuyvIndex + lineOffset + 2];
}
}
copyUV = !copyUV;
}
return nv12;
}

7.I420和YV12的互换
I420和YV12只是U与V的数据位置不同，因此，I420转换为YV12的代码同样适用于YV12转换为I420。可参考如下代码：

public static byte[] i420ToYv12(byte[] i420) {
if (i420 == null || i420.length == 0 || i420.length % 6 != 0) {
throw new IllegalArgumentException("invalid image params!");
}
int ySize = i420.length * 2 / 3;
int uvSize = i420.length / 6;
byte[] yv12 = new byte[i420.length];
//复制Y
System.arraycopy(i420, 0, yv12, 0, ySize);
//UV互换
System.arraycopy(i420, ySize, yv12, ySize + uvSize, uvSize);
System.arraycopy(i420, ySize + uvSize, yv12, ySize, uvSize);
return yv12;
}