zoukankan      html  css  js  c++  java

  • aac adts & LATM封装码流分析

    本文继续上一篇文章的内容，介绍一个音频码流处理程序。音频码流在视频播放器中的位置如下所示。

    本文中的程序是一个AAC码流解析程序。该程序可以从AAC码流中分析得到它的基本单元ADTS frame，并且可以简单解析ADTS frame首部的字段。通过修改该程序可以实现不同的AAC码流处理功能。

    原理

    AAC原始码流（又称为“裸流”）是由一个一个的ADTS frame组成的。他们的结构如下图所示。

    其中每个ADTS frame之间通过syncword（同步字）进行分隔。同步字为0xFFF（二进制“111111111111”）。AAC码流解析的步骤就是首先从码流中搜索0x0FFF，分离出ADTS frame；然后再分析ADTS frame的首部各个字段。本文的程序即实现了上述的两个步骤。

     一般的AAC解码器都需要把AAC的ES流打包成ADTS的格式，一般是在AAC ES流前添加7个字节的ADTS header。也就是说你可以吧ADTS这个头看作是AAC的frameheader。

    ADTS 头中相对有用的信息 采样率、声道数、帧长度。想想也是，我要是解码器的话，你给我一堆得AAC音频ES流我也解不出来。每一个带ADTS头信息的AAC流会清晰的告送解码器他需要的这些信息。

    一般情况下ADTS的头信息都是7个字节，分为2部分：

    adts_fixed_header();

    adts_variable_header();


     

    syncword ：同步头 总是0xFFF, all bits must be 1，代表着一个ADTS帧的开始

    ID：MPEG Version: 0 for MPEG-4, 1 for MPEG-2

    Layer：always: '00'

    profile：表示使用哪个级别的AAC，有些芯片只支持AAC LC 。在MPEG-2 AAC中定义了3种：

    sampling_frequency_index：表示使用的采样率下标，通过这个下标在 Sampling Frequencies[ ]数组中查找得知采样率的值。

    There are 13 supported frequencies:

    • 0: 96000 Hz
    • 1: 88200 Hz
    • 2: 64000 Hz
    • 3: 48000 Hz
    • 4: 44100 Hz
    • 5: 32000 Hz
    • 6: 24000 Hz
    • 7: 22050 Hz
    • 8: 16000 Hz
    • 9: 12000 Hz
    • 10: 11025 Hz
    • 11: 8000 Hz
    • 12: 7350 Hz
    • 13: Reserved
    • 14: Reserved
    • 15: frequency is written explictly

    channel_configuration: 表示声道数 

    • 0: Defined in AOT Specifc Config
    • 1: 1 channel: front-center
    • 2: 2 channels: front-left, front-right
    • 3: 3 channels: front-center, front-left, front-right
    • 4: 4 channels: front-center, front-left, front-right, back-center
    • 5: 5 channels: front-center, front-left, front-right, back-left, back-right
    • 6: 6 channels: front-center, front-left, front-right, back-left, back-right, LFE-channel
    • 7: 8 channels: front-center, front-left, front-right, side-left, side-right, back-left, back-right, LFE-channel
    • 8-15: Reserved

    frame_length : 一个ADTS帧的长度包括ADTS头和AAC原始流.

    adts_buffer_fullness：0x7FF 说明是码率可变的码流

    代码

    整个程序位于simplest_aac_parser()函数中，如下所示。

    [cpp] view plain copy
     
    1. /** 
    2.  * 最简单的视音频数据处理示例 
    3.  * Simplest MediaData Test 
    4.  * 
    5.  * 雷霄骅 Lei Xiaohua 
    6.  * leixiaohua1020@126.com 
    7.  * 中国传媒大学/数字电视技术 
    8.  * Communication University of China / Digital TV Technology 
    9.  * http://blog.csdn.net/leixiaohua1020 
    10.  * 
    11.  * 本项目包含如下几种视音频测试示例： 
    12.  *  (1)像素数据处理程序。包含RGB和YUV像素格式处理的函数。 
    13.  *  (2)音频采样数据处理程序。包含PCM音频采样格式处理的函数。 
    14.  *  (3)H.264码流分析程序。可以分离并解析NALU。 
    15.  *  (4)AAC码流分析程序。可以分离并解析ADTS帧。 
    16.  *  (5)FLV封装格式分析程序。可以将FLV中的MP3音频码流分离出来。 
    17.  *  (6)UDP-RTP协议分析程序。可以将分析UDP/RTP/MPEG-TS数据包。 
    18.  * 
    19.  * This project contains following samples to handling multimedia data: 
    20.  *  (1) Video pixel data handling program. It contains several examples to handle RGB and YUV data. 
    21.  *  (2) Audio sample data handling program. It contains several examples to handle PCM data. 
    22.  *  (3) H.264 stream analysis program. It can parse H.264 bitstream and analysis NALU of stream. 
    23.  *  (4) AAC stream analysis program. It can parse AAC bitstream and analysis ADTS frame of stream. 
    24.  *  (5) FLV format analysis program. It can analysis FLV file and extract MP3 audio stream. 
    25.  *  (6) UDP-RTP protocol analysis program. It can analysis UDP/RTP/MPEG-TS Packet. 
    26.  * 
    27.  */  
    28. #include <stdio.h>  
    29. #include <stdlib.h>  
    30. #include <string.h>  
    31.   
    32.   
    33. int getADTSframe(unsigned char* buffer, int buf_size, unsigned char* data ,int* data_size){  
    34.     int size = 0;  
    35.   
    36.     if(!buffer || !data || !data_size ){  
    37.         return -1;  
    38.     }  
    39.   
    40.     while(1){  
    41.         if(buf_size  < 7 ){  
    42.             return -1;  
    43.         }  
    44.         //Sync words  
    45.         if((buffer[0] == 0xff) && ((buffer[1] & 0xf0) == 0xf0) ){  
    46.             size |= ((buffer[3] & 0x03) <<11);     //high 2 bit  
    47.             size |= buffer[4]<<3;                //middle 8 bit  
    48.             size |= ((buffer[5] & 0xe0)>>5);        //low 3bit  
    49.             break;  
    50.         }  
    51.         --buf_size;  
    52.         ++buffer;  
    53.     }  
    54.   
    55.     if(buf_size < size){  
    56.         return 1;  
    57.     }  
    58.   
    59.     memcpy(data, buffer, size);  
    60.     *data_size = size;  
    61.   
    62.     return 0;  
    63. }  
    64.   
    65. int simplest_aac_parser(char *url)  
    66. {  
    67.     int data_size = 0;  
    68.     int size = 0;  
    69.     int cnt=0;  
    70.     int offset=0;  
    71.   
    72.     //FILE *myout=fopen("output_log.txt","wb+");  
    73.     FILE *myout=stdout;  
    74.   
    75.     unsigned char *aacframe=(unsigned char *)malloc(1024*5);  
    76.     unsigned char *aacbuffer=(unsigned char *)malloc(1024*1024);  
    77.   
    78.     FILE *ifile = fopen(url, "rb");  
    79.     if(!ifile){  
    80.         printf("Open file error");  
    81.         return -1;  
    82.     }  
    83.   
    84.     printf("-----+- ADTS Frame Table -+------+ ");  
    85.     printf(" NUM | Profile | Frequency| Size | ");  
    86.     printf("-----+---------+----------+------+ ");  
    87.   
    88.     while(!feof(ifile)){  
    89.         data_size = fread(aacbuffer+offset, 1, 1024*1024-offset, ifile);  
    90.         unsigned char* input_data = aacbuffer;  
    91.   
    92.         while(1)  
    93.         {  
    94.             int ret=getADTSframe(input_data, data_size, aacframe, &size);  
    95.             if(ret==-1){  
    96.                 break;  
    97.             }else if(ret==1){  
    98.                 memcpy(aacbuffer,input_data,data_size);  
    99.                 offset=data_size;  
    100.                 break;  
    101.             }  
    102.   
    103.             char profile_str[10]={0};  
    104.             char frequence_str[10]={0};  
    105.   
    106.             unsigned char profile=aacframe[2]&0xC0;  
    107.             profile=profile>>6;  
    108.             switch(profile){  
    109.             case 0: sprintf(profile_str,"Main");break;  
    110.             case 1: sprintf(profile_str,"LC");break;  
    111.             case 2: sprintf(profile_str,"SSR");break;  
    112.             default:sprintf(profile_str,"unknown");break;  
    113.             }  
    114.   
    115.             unsigned char sampling_frequency_index=aacframe[2]&0x3C;  
    116.             sampling_frequency_index=sampling_frequency_index>>2;  
    117.             switch(sampling_frequency_index){  
    118.             case 0: sprintf(frequence_str,"96000Hz");break;  
    119.             case 1: sprintf(frequence_str,"88200Hz");break;  
    120.             case 2: sprintf(frequence_str,"64000Hz");break;  
    121.             case 3: sprintf(frequence_str,"48000Hz");break;  
    122.             case 4: sprintf(frequence_str,"44100Hz");break;  
    123.             case 5: sprintf(frequence_str,"32000Hz");break;  
    124.             case 6: sprintf(frequence_str,"24000Hz");break;  
    125.             case 7: sprintf(frequence_str,"22050Hz");break;  
    126.             case 8: sprintf(frequence_str,"16000Hz");break;  
    127.             case 9: sprintf(frequence_str,"12000Hz");break;  
    128.             case 10: sprintf(frequence_str,"11025Hz");break;  
    129.             case 11: sprintf(frequence_str,"8000Hz");break;  
    130.             default:sprintf(frequence_str,"unknown");break;  
    131.             }  
    132.   
    133.   
    134.             fprintf(myout,"%5d| %8s|  %8s| %5d| ",cnt,profile_str ,frequence_str,size);  
    135.             data_size -= size;  
    136.             input_data += size;  
    137.             cnt++;  
    138.         }     
    139.   
    140.     }  
    141.     fclose(ifile);  
    142.     free(aacbuffer);  
    143.     free(aacframe);  
    144.   
    145.     return 0;  
    146. }  


    上文中的函数调用方法如下所示。

    [cpp] view plain copy
     
    1. simplest_aac_parser("nocturne.aac");  

    结果

    本程序的输入为一个AAC原始码流（裸流）的文件路径，输出为该码流中ADTS frame的统计数据，如下图所示。

     

    LATM格式

    LATM 的全称为“Low-overhead MPEG-4 Audio TransportMultiplex”（低开销音频传输复用），

    是MPEG-4 AAC制定的一种高效率的码流传输方式，MPEG-2 TS 流也采用LATM 

    作为AAC 音频码流的封装格式之 LATM格式也以帧为单位，主要由AudioSpecificConfig（音频特定配置单元）与音频负载组成。

    音频负载主要由PayloadLengthInfo（负载长度信息）和PayloadMux（负载净荷）组成。

    AudioSpecificConfig 描述了一个LATM 帧的信息；

    AudioSpecificConfig 信息可以是带内传，也可以是带外传。所谓带内传，就是指每一个LATM 帧，都含有一个AudioSpecificConfig 信息；而带外传，则每一个LATM帧都不含有AudioSpecificConfig 信息，而通过其他方式把AudioSpecificConfig信息发送到解码端，

    由于AudioSpecificConfig 信息一般是不变的，所以只需发送一次即可。由此可见，

    AudioSpecificConfig 信息采用带内传输可适应音频编码信息不断变化的情况（项目现在使用的是带外，通过ADTS头也不使用了），而采用带外传输，可以节省音频传输码率。带内或带外传，由muxconfigPresent 标志位决定。例如流媒体应用中，muxconfigPresent 可设置为0，这样LATM帧中将不含有AudioSpecificConfig 信息，LATM帧通过RTP包发送出去，AudioSpecificConfig 可通过SDP文件一次性传送到解码端。

    1、AudioSpecificConfig 主要参数如下（参看ISO14496-3中1.6.2.1 AudioSpecificConfig）

    numSubFrames 子帧的数目

    numProgram 复用的节目数

    numLayer 复用的层数

    frameLengthType 负载的帧长度类型，包括固定长度与可变长度

    audioObjectType 音频对象类型

    samplingFrequency 采样率

    channelConfiguration 声道配置

    2、音频负载由若干子帧组成，每个子帧由PayloadLengthInfo和PayloadMux组成，

    与ADTS帧净荷一样，音频负载主要包含原始帧数据。

    AAC打包成TS流通常有两种方式，分别是先打包成ADTS或LATM。ADTS的每一帧都有个帧头，在

    每个帧头信息都一样的状况下，会有很大的冗余。LATM格式具有很大的灵活性，每帧的音频配置单元既可以带内传输，又可以带外传输。正因为如此，LATM不仅适用于流传输还可以用于RTP传输，

    RTP传输时，若音频数据配置信息是保持不变，可以先通过SDP会话先传输StreamMuxConfig（AudioSpecificConfig）信息，

    由于LATM流由一个包含了一个或多个音频帧的audioMuxElements序列组成。

    一个完整或部分完整的audioMuxElement可直接映射到一个RTP负载上。

    下面是一个audoMuxEmlemt

    AudioMuxElement(muxConfigPresent)

    {

    if (muxConfigPresent)

    {

    useSameStreamMux;

    if (!useSameStreamMux)

    StreamMuxConfig(); 

    }

    if (audioMuxVersionA == 0)

    { 

    for (i = 0; i <= numSubFrames; i++)

    { 

    PayloadLengthInfo();

    PayloadMux();

    }

    }

    }

    可以很简单的把ADTS帧转换为LATM帧，根据ADTS头的信息，生成StreamMuxConfig，

    将ADTS中的原始帧提取出来，前面加上PayloadLengthInfo做为LATM的音频帧。

    按照上述格式打包生成AudioMuxElement，作为RTP的负载传输.

    四、CMMB中的LATM

    当CMMB中音频压缩标准为AAC时，默认采用LATM封装。StreamMuxConfig采用带外传输。

    StreamMuxConifg中的若干默认参数如下：audioMuxVersion:0，标志流语法版本号为0，

    allStreamsSameTimeFraming标志复用到PayLoadMux()中的所有负载共享一个共同的时基音频子帧.

    audioObjectType:2 AAC-LC

    freameLengthType:0 帧长度是可变的

    latmBufferFullness:0xFF 码率可变的码流

     
    原文链接：http://blog.csdn.net/leixiaohua1020/article/details/50535042
    　　　　　http://blog.sina.com.cn/s/blog_a3158ded0101gmco.html
     
  • 相关阅读:
    微软Silverlight团队关于PDC会议发表官方补充声明（风云翻译版）
    《银光志Silverlight 3.0开发详解与最佳实践》发行第三版总销量过万册
    Silverlight医学PACS诊断分析管理系统【案例分享】
    微软PDC10与最后的恐慌者
    风云的银光志Silverlight4.0教程之与学会使用Frame控件
    WPF案例之生产线控制器管理系统
    WindowsPhone7 经典3D游戏《刺客信条》评测
    Silverlight4开发的炫酷企业网站整站(运行大量特效)
    微软Windows Phone7超越Android、iOS的五大优势
    as3 滤镜学习笔记
  • 原文地址：https://www.cnblogs.com/ranson7zop/p/7199628.html
Copyright © 2011-2022 走看看