zoukankan      html  css  js  c++  java

  • H265（HEVC） nal 单元头介绍及rtp发送中的fu分组发送详解

    首先来介绍下h265（HEVC）nal单元头，与h264的nal层相比，h265的nal unit header有两个字节构成，如下图所示：

    从图中可以看出hHEVC的nal包结构与h264有明显的不同，hevc加入了nal所在的时间层的ＩＤ，取去除了nal_ref_idc，此信息合并到了naltype中，通常情况下F为0，layerid为0,TID为1。

            nal单元的类型有如下几种：

         

    [cpp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1.  enum NalUnitType  
    2. {  
    3.   NAL_UNIT_CODED_SLICE_TRAIL_N = 0,   // 0  
    4.   NAL_UNIT_CODED_SLICE_TRAIL_R,   // 1  
    5.     
    6.   NAL_UNIT_CODED_SLICE_TSA_N,     // 2  
    7.   NAL_UNIT_CODED_SLICE_TLA,       // 3   // Current name in the spec: TSA_R  
    8.     
    9.   NAL_UNIT_CODED_SLICE_STSA_N,    // 4  
    10.   NAL_UNIT_CODED_SLICE_STSA_R,    // 5  
    11.   
    12.   NAL_UNIT_CODED_SLICE_RADL_N,    // 6  
    13.   NAL_UNIT_CODED_SLICE_DLP,       // 7 // Current name in the spec: RADL_R  
    14.     
    15.   NAL_UNIT_CODED_SLICE_RASL_N,    // 8  
    16.   NAL_UNIT_CODED_SLICE_TFD,       // 9 // Current name in the spec: RASL_R  
    17.   
    18.   NAL_UNIT_RESERVED_10,  
    19.   NAL_UNIT_RESERVED_11,  
    20.   NAL_UNIT_RESERVED_12,  
    21.   NAL_UNIT_RESERVED_13,  
    22.   NAL_UNIT_RESERVED_14,  
    23.   NAL_UNIT_RESERVED_15, NAL_UNIT_CODED_SLICE_BLA,       // 16   // Current name in the spec: BLA_W_LP  
    24. NAL_UNIT_CODED_SLICE_BLA,       // 16   // Current name in the spec: BLA_W_LP  
    25.   NAL_UNIT_CODED_SLICE_BLANT,     // 17   // Current name in the spec: BLA_W_DLP  
    26.   NAL_UNIT_CODED_SLICE_BLA_N_LP,  // 18  
    27.   NAL_UNIT_CODED_SLICE_IDR,       // 19  // Current name in the spec: IDR_W_DLP  
    28.   NAL_UNIT_CODED_SLICE_IDR_N_LP,  // 20  
    29.   NAL_UNIT_CODED_SLICE_CRA,       // 21  
    30.   NAL_UNIT_RESERVED_22,  
    31.   NAL_UNIT_RESERVED_23,  
    32.   
    33.   NAL_UNIT_RESERVED_24,  
    34.   NAL_UNIT_RESERVED_25,  
    35.   NAL_UNIT_RESERVED_26,  
    36.   NAL_UNIT_RESERVED_27,  
    37.   NAL_UNIT_RESERVED_28,  
    38.   NAL_UNIT_RESERVED_29,  
    39.   NAL_UNIT_RESERVED_30,  
    40.   NAL_UNIT_RESERVED_31,  
    41.   
    42.   NAL_UNIT_VPS,                   // 32  
    43.   NAL_UNIT_SPS,                   // 33  
    44.   NAL_UNIT_PPS,                   // 34  
    45.   NAL_UNIT_ACCESS_UNIT_DELIMITER, // 35  
    46.   NAL_UNIT_EOS,                   // 36  
    47.   NAL_UNIT_EOB,                   // 37  
    48.   NAL_UNIT_FILLER_DATA,           // 38  
    49.   NAL_UNIT_SEI,                   // 39 Prefix SEI  
    50.   NAL_UNIT_SEI_SUFFIX,            // 40 Suffix SEI  
    51.   NAL_UNIT_RESERVED_41,  
    52.   NAL_UNIT_RESERVED_42,  
    53.   NAL_UNIT_RESERVED_43,  
    54.   NAL_UNIT_RESERVED_44,  
    55.   NAL_UNIT_RESERVED_45,  
    56.   NAL_UNIT_RESERVED_46,  
    57.   NAL_UNIT_RESERVED_47,  
    58.   NAL_UNIT_UNSPECIFIED_48,  
    59.   NAL_UNIT_UNSPECIFIED_49,  
    60.   NAL_UNIT_UNSPECIFIED_50,  
    61.   NAL_UNIT_UNSPECIFIED_51,  
    62.   NAL_UNIT_UNSPECIFIED_52,  
    63.   NAL_UNIT_UNSPECIFIED_53,  
    64.   NAL_UNIT_UNSPECIFIED_54,  
    65.   NAL_UNIT_UNSPECIFIED_55,  
    66.   NAL_UNIT_UNSPECIFIED_56,  
    67.   NAL_UNIT_UNSPECIFIED_57,  
    68.   NAL_UNIT_UNSPECIFIED_58,  
    69.   NAL_UNIT_UNSPECIFIED_59,  
    70.   NAL_UNIT_UNSPECIFIED_60,  
    71.   NAL_UNIT_UNSPECIFIED_61,  
    72.   NAL_UNIT_UNSPECIFIED_62,  
    73.   NAL_UNIT_UNSPECIFIED_63,  
    74.   NAL_UNIT_INVALID,  
    75. };  

    下面接收下fu分组打包方式，fu分组包头格式如下：

     

    fus包头包含了两个字节的payloadhdr，一个字节的fu header，fu header与h264一样，结构如下图，包含开始位（1b）、停止位(1b)、futype(6b)

    paylodhdr两个自己的赋值，其实就是把hevc帧数据的nal unit header的naltype替换为49即可，下面是从ffmpeg源码中截取出来的fu打包方式代码片段：

     

    [cpp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. static void nal_send(AVFormatContext *ctx, const uint8_t *buf, int len, int last_packet_of_frame)  
    2. {  
    3.      RTPMuxContext *rtp_ctx = ctx->priv_data;  
    4.      int rtp_payload_size = rtp_ctx->max_payload_size - RTP_HEVC_HEADERS_SIZE;  
    5.      int nal_type = (buf[0] >> 1) & 0x3F;  
    6.   
    7.         /* send it as one single NAL unit? */  
    8.         if (len <= rtp_ctx->max_payload_size) //小于对定的最大值时，直接发送（最大值一般小于mtu）  
    9.      {  
    10.          /* use the original NAL unit buffer and transmit it as RTP payload */  
    11.         ff_rtp_send_data(ctx, buf, len, last_packet_of_frame);  
    12.           
    13.     }  
    14.     else //大于最大值时进行fu分组发送  
    15.     {  
    16.         /* 
    17.                     create the HEVC payload header and transmit the buffer as fragmentation units (FU) 
    18.                        
    19.                     0                   1 
    20.                     0 1 2 3 4 5 6 7 8 9 0 1 2 3 4 5 
    21.                     +-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+-+ 
    22.                     |F|   Type    |  LayerId  | TID | 
    23.                     +-------------+-----------------+ 
    24.                        
    25.                         F       = 0 
    26.                         Type    = 49 (fragmentation unit (FU)) 
    27.                         LayerId = 0 
    28.                         TID     = 1 
    29.         */  
    30.         rtp_ctx->buf[0] = 49 << 1;  
    31.         rtp_ctx->buf[1] = 1;  
    32.            //此处为paylaodhdr,规范赋值应该是替换hevc数据nal 的payloadhdr的type  
    33.             //rtp_ctx->buf[0] = (buf[0] &0x81) | (49<<1);  
    34.        //rtp_ctx->buf[1] = buf[1]  
    35.         /* 
    36.             create the FU header 
    37.                            
    38.             0 1 2 3 4 5 6 7 
    39.             +-+-+-+-+-+-+-+-+ 
    40.             |S|E|  FuType   | 
    41.             +---------------+ 
    42.                            
    43.                 S       = variable 
    44.                 E       = variable 
    45.                 FuType  = NAL unit type 
    46.         */  
    47.         rtp_ctx->buf[2] = nal_type;  
    48.         /* set the S bit: mark as start fragment */  
    49.         rtp_ctx->buf[2] |= 1 << 7;       
    50.         /* pass the original NAL header */  
    51.         //此处要注意，当是分组的第一报数据时，应该覆盖掉前两个字节的数据，h264要覆盖前一个字节的数据，即是第一包要去除hevc帧数据的paylaodhdr  
    52.         buf += 2;  
    53.         len -= 2;     
    54.         while (len > rtp_payload_size)   
    55.         {  
    56.             /* complete and send current RTP packet */  
    57.                 memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, rtp_payload_size);  
    58.             ff_rtp_send_data(ctx, rtp_ctx->buf, rtp_ctx->max_payload_size, 0);  
    59.               
    60.                 buf += rtp_payload_size;  
    61.             len -= rtp_payload_size;  
    62.               
    63.                 /* reset the S bit */  
    64.                 rtp_ctx->buf[2] &= ~(1 << 7);  
    65.               
    66.         }  
    67.       
    68.          /* set the E bit: mark as last fragment */  
    69.          rtp_ctx->buf[2] |= 1 << 6;  
    70.       
    71.          /* complete and send last RTP packet */  
    72.          memcpy(&rtp_ctx->buf[RTP_HEVC_HEADERS_SIZE], buf, len);  
    73.         ff_rtp_send_data(ctx, rtp_ctx->buf, len + 2, last_packet_of_frame);  
    74.   
    75.     }  
    76. }  



     

     

    通过rtp发送hevc视频数据，当hevc帧数据大于mtu时，应该进行fu分组发送，从上面代码流程就是对超过max_payload_size数据进行fu分组的流程，这个h264 fu-A很类似，很容易理解。

     

    参考规范：

    https://tools.ietf.org/html/draft-ietf-payload-rtp-h265-14

    ffmpeg相关代码

    https://www.ffmpeg.org/doxygen/2.5/rtpenc__hevc_8c_source.html
  • 相关阅读:
    [QT]
    [QT]
    企业内搜索引擎项目（一）：架构
    Muduo网络库实战（二）：实现服务器与客户端的连接
    Muduo网络库实战（一）：安装和配置
    Xapian实战（一）：环境搭建 + 简介
    Centos 6.5升级gcc : 源码安装 + rpm安装
    Hadoop学习笔记（二）——插件安装和使用（Hadoop Eclipse）
    Hadoop学习笔记(三) ——HDFS
    Hadoop学习笔记（一）——安装与配置
  • 原文地址：https://www.cnblogs.com/elesos/p/11777485.html
Copyright © 2011-2022 走看看