h264 aac 封装 flv

zoukankan html css js c++ java

h264 aac 封装 flv
Part 1flvtag组成

FLV 文件结构由 FLVheader和FLVBody组成。（注意flv文件是大端格式的）
FLV头组成（以c为例子，一字节对齐）：
FLVBody是由若干个Tag组成的；
Tag=Tag头(11字节)+数据
[cpp] view plain copy

typedef struct _FLV_HEADER

{

    char FLV[3];//={0x46,0x4c,0x56};

    char Ver;   //版本号

    char StreamInfo;// 有视频又有音频就是0x01 | 0x04（0x05）

    int HeaderLen; /*****头的长度*****/

} FLV_HEADER;
Part2 h264

H264是一个个NALU单元组成的，每个单元以00 00 01 或者 00 00 00 01分隔开来，每2个00 00 00 01之间就是一个NALU单元。我们实际上就是将一个个NALU单元封装进FLV文件。
每个NALU单元开头第一个byte的低5bits表示着该单元的类型，即NAL nal_unit_type：
[cpp] view plain copy

#define NALU_TYPE_SLICE 1

#define NALU_TYPE_DPA 2

#define NALU_TYPE_DPB 3

#define NALU_TYPE_DPC 4

#define NALU_TYPE_IDR 5    /**关键帧***/

#define NALU_TYPE_SEI 6    /*****曾强帧******/

#define NALU_TYPE_SPS 7

#define NALU_TYPE_PPS 8

#define NALU_TYPE_AUD 9

#define NALU_TYPE_EOSEQ 10

#define NALU_TYPE_EOSTREAM 11

#define NALU_TYPE_FILL 12
每个NALU第一个byte & 0x1f 就可以得出它的类型，比如上图第一个NALU：67 & 0x1f = 7，则此单元是SPS，第三个：68 & 0x1f = 8，则此单元是PPS。

Part3 h264 封装flv

我们现在开始把H264，AAC封装为FLV文件。
首先定义一个函数(功能反向拷贝)：
[cpp] view plain copy

void ReverseMemcpy(void* dest,size_t destLen, const void* src, size_t n)

{

        char*     d= (char*) dest;

        const char*  s= (const char*)src;

        s=s+n-1;

        while(n--&&destLen--)

        {

            *d++=*s--;

        }

        return dest;

}
1.写入FLV头。
2.写入FLV脚本Tag；
3.由于分装的是H264，AAC所以所写入一个视频配置信息，和一个音频配置信息
3.写入视频Tag.由于是H264,Tag的数据就需要按照AVC格式封装。Tag数据区有两种，一种是视频(0x17),一种是音频（0x27）。
AVC格式：AVCPacketType(1字节)+CompositionTime（3字节）
如果AVCPacketType=0x00,这格式为AVCPacketType(1字节)+CompositionTime（3字节）+AVCDecoderConfigurationRecord。
如果AVCPacketType=0x01,这格式为AVCPacketType(1字节)+CompositionTime（3字节）+ 4个bytes的NALU单元长度 + N个bytes的NALU数据。
AVCDecoderConfigurationRecord结构信息
[cpp] view plain copy

typedef struct _AVC_DEC_CON_REC

{

    char cfgVersion;//configurationVersion  //0x01

    char avcProfile;//AVCProfileIndication  //sps[1]

    char profileCompatibility;//profile_Compatibility //sps[2]

    char avcLevel;//AVCLevelIndication //sps[3]

    //lengthSizeMinusOne:indicates the length in bytes of the NALUnitLength field in an AVC video

    char reserved6_lengthSizeMinusOne2;//

    char reserved3_numOfSPS5;//个数

    long spsLength;//sequenceParameterSetLength

    void *sps;

    char numOfPPS;//个数

    long ppsLength;

    void *pps;

}AVC_DEC_CON_REC;



char *pH264Data=....;//h264数据。

int H264DataLen=....;//h264数据长度

FLV_TAG_HEADER tagHeader;

char AVCPacket[4]={0x00,0x00,0x00,0x00}

memset(tagHeader,0,sizeof(FLV_TAG_HEADER));

int Index=0;//分隔符长度

if(*pH264Data==0x00&&(*pH264Data+1)==0x00&&(*pH264Data+2)==0x01)

{

     Index=3;

}else if(*pH264Data==0x00&&(*pH264Data+1)==0x00&&(*pH264Data+2)==0x00&&(*pH264Data+4)==0x01)

{

     Index=4;

}else{

    Err//错误不是h264数据

}

if(*(pH264Data+Index)&0x1f==0x07)//sps帧，此h264数据还有一帧，pps。

{

     int PreTagLen=.....//前一个Tag长度

     ReverseMemcpy(&tagHeader.PreTagLen,4,&PreTagLen,4);//大端字节序；

     tagHeader.TagType=0x09;//视频类型

     //AVCPacket应全为0x00.



}
part 4.音频AAC封装flv。

AAC音频格式有ADIF和ADTS：ADIF：Audio Data Interchange Format 音频数据交换格式。这种格式的特征是可以确定的找到这个音频数据的开始，不需进行在音频数据流中间开始的解码，即它的解码必须在明确定义的开始处进行。故这种格式常用在磁盘文件中。ADTS：Audio Data Transport Stream 音频数据传输流。这种格式的特征是它是一个有同步字的比特流，解码可以在这个流中任何位置开始。它的特征类似于mp3数据流格式。简单说，ADTS可以在任意帧解码，也就是说它每一帧都有头信息。ADIF只有一个统一的头，所以必须得到所有的数据后解码。且这两种的header的格式也是不同的，目前一般编码后的和抽取出的都是ADTS格式的音频流。语音系统对实时性要求较高，基本是这样一个流程，采集音频数据，本地编码，数据上传，服务器处理，数据下发，本地解码ADTS是帧序列，本身具备流特征，在音频流的传输与处理方面更加合适。
因此我们在音频编码时常选择ADTS的，以下是我们常用的配置
[cpp] view plain copy

m_hAacEncoder= faacEncOpen(capability.nSamplesPerSec,capability.nChannels,

&m_nAacInputSamples, &m_nAacMaxOutputBytes);

   m_nAacnMaxInputBytes=m_nAacInputSamples*capability.wBitsPerSample/8;

   m_pAacConfig = faacEncGetCurrentConfiguration(m_hAacEncoder);//获取配置结构指针

   m_pAacConfig->inputFormat = FAAC_INPUT_16BIT;//16精度

m_pAacConfig->outputFormat=1; //   设置为 ADTS

m_pAacConfig->useTns=true;

m_pAacConfig->useLfe=false;

m_pAacConfig->aacObjectType=LOW;

m_pAacConfig->shortctl=SHORTCTL_NORMAL;

m_pAacConfig->quantqual=100;

m_pAacConfig->bandWidth=0;

m_pAacConfig->bitRate=capability.nAvgBytesPerSec;
对于flv的aac音频和视频一样需要在第一帧写入配置信息。
[cpp] view plain copy

flv_packet flvpacket=GetErrPacket();

int TagDataLen=1000;

char *pTagBuffer=(char *)::malloc(TagDataLen);

memset(pTagBuffer,0,TagDataLen);

KKMEDIA::FLV_TAG_HEADER Tag_Head;

memset(&Tag_Head,0,sizeof(Tag_Head));

FlvMemcpy(&Tag_Head.PreTagLen,4,&m_nPreTagLen,4);

memset(&Tag_Head.Timestamp,0,3);

Tag_Head.TagType=0x08;///音频

int datalen=0;

memcpy(pTagBuffer,&Tag_Head,sizeof(KKMEDIA::FLV_TAG_HEADER));

datalen+=sizeof(KKMEDIA::FLV_TAG_HEADER);

//前4bits表示音频格式（全部格式请看官方文档）：

//1 -- ADPCM

//2 -- MP3

//4 -- Nellymoser 16-kHz mono

//5 -- Nellymoser 8-kHz mono

//10 -- AAC

//面两个bits表示samplerate：

//·0 -- 5.5KHz

//·1 -- 11kHz

//·2 -- 22kHz

//·3 -- 44kHz 1100=0x0C

//下面1bit表示采样长度：

//·0 -- snd8Bit

//·1 -- snd16Bit

//下面1bit表示类型：

//·0 -- sndMomo

//·1 -- sndStereo

char TagAudio=0xAF; //1010,11,1,1

//TagAudio &=0x0C;//3

//TagAudio &=0x02;//1

//TagAudio &=0x01;//sndStereo

memcpy(pTagBuffer+datalen,&TagAudio,1);

datalen++;

char AACPacketType=0x00;//012->

memcpy(pTagBuffer+datalen,&AACPacketType,1);

datalen++;

///两个字节

char AudioSpecificConfig[2]={0x12,0x90};///32000hz

memcpy(pTagBuffer+datalen,&AudioSpecificConfig,2);

datalen+=2;

m_nPreTagLen=datalen-4;///（tag长度值）

TagDataLen=datalen-15;//(11+4(tag长度值+tag的头)

//Tag 数据区长度

FlvMemcpy(pTagBuffer+5,3,&TagDataLen,3);

flvpacket.buf =(unsigned char*)pTagBuffer;

flvpacket.bufLen=datalen;

flvpacket.taglen=m_nPreTagLen;

return flvpacket;
关于上面的代码中AudioSpecificConfig的值是怎样计算来的，可以直接中aac编码库中获取，或者采用公式计算出来,请看一下代码。
[cpp] view plain copy

///索引表

static unsigned const samplingFrequencyTable[16] = {

  96000, 88200, 64000, 48000,

  44100, 32000, 24000, 22050,

  16000, 12000, 11025, 8000,

  7350,  0,     0,      0

};

int profile=1;

int samplingFrequencyIndex=0;

for(int i=0;i<16;i++)

{

        if(samplingFrequencyTable[i]==32000)

        {

           samplingFrequencyIndex =i;

           break;

        }

}

char channelConfiguration =0x02;//(立体声)

UINT8 audioConfig[2] = {0};

UINT8 const audioObjectType = profile + 1;  ///其中profile=1;

audioConfig[0] = (audioObjectType<<3) | (samplingFrequencyIndex>>1);

audioConfig[1] = (samplingFrequencyIndex<<7) | (channelConfiguration<<3);

printf("%02x%02x", audioConfig[0], audioConfig[1]);
最后就写入aac帧数据了，请看以下代码：
[cpp] view plain copy

flv_packet flvpacket=GetErrPacket();

            int TagDataLen=1000+srcLen;

            char *pTagBuffer=(char *)::malloc(TagDataLen);

            memset(pTagBuffer,0,TagDataLen);

            KKMEDIA::FLV_TAG_HEADER Tag_Head;

            memset(&Tag_Head,0,sizeof(Tag_Head));

            //FlvMemcpy等同于ReverseMemcpy

            FlvMemcpy(&Tag_Head.PreTagLen,4,&m_nPreTagLen,4);

            FlvMemcpy(&Tag_Head.Timestamp,3,&pts,3);





            Tag_Head.TagType=0x08;///音频

            int datalen=0;

            memcpy(pTagBuffer,&Tag_Head,sizeof(KKMEDIA::FLV_TAG_HEADER));

            datalen+=sizeof(KKMEDIA::FLV_TAG_HEADER);

            char TagAudio=0xAF;

            memcpy(pTagBuffer+datalen,&TagAudio,1);

            datalen++;





            char AACPacketType=0x01;

            memcpy(pTagBuffer+datalen,&AACPacketType,1);

            datalen++;



               //src aac数据指针(不包含ADTS头长度)，srcLenAAC数据长度

            memcpy(pTagBuffer+datalen,src,srcLen);

            datalen+=srcLen;





            m_nPreTagLen=datalen-4;///（tag长度值）

            TagDataLen=datalen-15;//(11+4(tag长度值+tag的头)





            //Tag 数据区长度

            FlvMemcpy(pTagBuffer+5,3,&TagDataLen,3);

            flvpacket.buf =(unsigned char*)pTagBuffer;

            flvpacket.bufLen=datalen;

            flvpacket.taglen=m_nPreTagLen;

            return flvpacket;
注意在使用ADTS头输出的AAC编码数据，在打包flv格式时，需要跳过其adts头长度（7字节）。
例如：
[cpp] view plain copy

AudioPacket((const unsigned char *)(pDataNALU+7),PktSize-7,Pts);
查看全文

相关阅读:
关于日期
 修改video标签自带按钮的默认样式
 vue相关
 手机
 国内优秀npm镜像
 一些技能整理
 小程序
 $('.mydiv>ul')和$('.mydiv ul')的不同
 Python 字符编码
 Python 正则表达式补充

原文地址：https://www.cnblogs.com/lidabo/p/9020423.html

h264 aac 封装 flv

Part 1flvtag组成

Part2 h264

Part3 h264 封装flv

part 4.音频AAC封装flv。