zoukankan      html  css  js  c++  java
  • H264之PPS、SPS了解

    // H.264 NAL type 
    enum H264NALTYPE{ 
    H264NT_NAL = 0, 
    H264NT_SLICE, 
    H264NT_SLICE_DPA, 
    H264NT_SLICE_DPB, 
    H264NT_SLICE_DPC, 
    H264NT_SLICE_IDR, 
    H264NT_SEI, 
    H264NT_SPS, 
    H264NT_PPS, 
    }; 
    int H264GetNALType(LPVOID pBSBuf, const LONG nBSLen) 

    if ( nBSLen < 5 )  // 不完整的NAL单元 
    return H264NT_NAL;

    UINT8* pBS = (UINT8 *)pBSBuf; 
    ULONG nType = pBS[4] & 0×1F;  // NAL类型在固定的位置上 :) 
    if ( nType <= H264NT_PPS ) 
    return nType;

    return 0; 
    }

    其中 H264NT_SLICE_IDR 是关键帧,H264NT_SLICE 是P帧

    一个frame是可以分割成多个Slice来编码的,而一个Slice编码之后被打包进一个NAL单元,不过NAL单元除了容纳Slice编码的码流外,还可以容纳其他数据,比如序列参数集SPS。

    1、NAL、Slice与frame意思及相互关系

    NAL指网络提取层,里面放一些与网络相关的信息 
    Slice是片的意思,264中把图像分成一帧(frame)或两场(field),而帧又可以分成一个或几个片(Slilce);片由宏块(MB)组成。宏块是编码处理的基本单元。

    2、NAL nal_unit_type中的1(非IDR图像的编码条带)、2(编码条带数据分割块A)、3(编码条带数据分割块B)、4(编码条带数据分割块C)、5(IDR图像的编码条带)种类型 
    与 Slice种的三种编码模式:I_slice、P_slice、B_slice 
    NAL nal_unit_type 里的五种类型,代表接下来数据是表示啥信息的和具体如何分块。 
    I_slice、P_slice、B_slice 表示I类型的片、P类型的片,B类型的片.其中I_slice为帧内预测模式编码;P_slice为单向预测编码或帧内模式;B_slice 中为双向预测或帧内模式。

    3、还有frame的3种类型:I frame、P frame、 B frame之间有什么映射关系么? 
    I frame、P frame、 B frame关系同 I_slice、P_slice、B_slice,slice和frame区别在问题1中已经讲明白。

    4、最后,NAL nal_unit_type中的6(SEI)、7(SPS)、8(PPS)属于什么帧呢? 
    NAL nal_unit_type 为序列参数集(SPS)、图像参数集(PPS)、增强信息(SEI)不属于啥帧的概念。表示后面的数据信息为序列参数集(SPS)、图像参数集(PPS)、增强信息(SEI)。

    能给个从视频流中提取I frame 和P frame的方法么? 
    可以看slice中的头信息。

    查找NAL起始码,然后读取NAL类型不就可以了吗

    pBS[4] & 0×1F 

    怎么是第5个字节的第五位啊  前面4字节分别是什么(值)?

    NAL单元的第1个字节的低五位吧?

    然后在问个问题,怎么在一段视频流中检测 NAL的开始和结束?

     

    引用 5 楼 hugeice 的回复:
    直接给你代码吧 :)

     

    ////////////////////////////////////////////////////////////////////////// 
    // H.264 NAL type 
    enum H264NALTYPE{ 
    H264NT_NAL = 0, 
    H264NT_SLICE, 
    H264NT_SLICE_DPA, 
    H264NT_SLICE_DPB, 
    H264NT_SLICE_DPC, 
    H264NT_SLICE_IDR, 
    H264NT_SEI, 
    H264NT_SPS, 
    H264NT_PPS, 
    }; 
    int H264GetNALType(LPVOID pBSBuf, const LONG nBSLen) 

    if ( nBSLen < 5 )  // 不完整的NAL单元… 

    H.264视频流是以NAL单元传送的。。。但在一个NAL单元里面,可能既存放I-Slice(P-Slice或B-Slice),同事也可能存放图像的其他信息 
    那么 是不是说 I frame, P frame,B frame是把收到的NAL单元中的VCL的信息先提取出,然后按内容进行I、P、B frame分类?

    而我们只能通过NAL nal_unit_type来判别NAL单元中数据的类型哈~~~

    ====================================================================
     
     
     

    《如何结合H.264标准看JM代码》这个web文件,大家都应该有了吧。不过,那个web文档是“H.264乐园”群中聊天的内容,因此看的不是很方便......我在开学来的时候看的时候,做了一些总结,希望与大家分享!不对的地方请指正!

     

    1、一个sps后,有若干个pps吗?
          这主要又编码器决定,但JM代码中只有一个

     

    2、标准中第二栏的C是什么意思?
        请看标准7.2--分类(在表中以C标记)表明了片数据被划分为三类片数据分割的情况。片数据A类分割包含所有的2类语法元素。片数据B类分割包含所有的3类语法元素。片数据C类分割包含所有的4类语法元素。其他类语法元素取值的含义未做规定。对于某些语法元素,使用一个垂直竖线表示其包含两类语法元素。在这种情况下,该语法元素将使用的分类值将在文本中进一步确定。

    3、一个NALU对应一个片吗?
        这种说法不太准确,NALU 包括一个片、SPS、PPS、SEI等等

     

    4、decode_one_frame()包括I、P、B

     

    5、 case NALU_TYPE_SLICE:
          case NALU_TYPE_IDR:
          case NALU_TYPE_DPA
          case NALU_TYPE_DPB:
          case NALU_TYPE_DPC
          case NALU_TYPE_SEI:
          case NALU_TYPE_PPS
          case NALU_TYPE_SPS
          case NALU_TYPE_AUD:
          case NALU_TYPE_EOSEQ:
          case NALU_TYPE_EOSTREAM:
          case NALU_TYPE_FILL
         问题:什么时候进入哪个,有什么说明的文章或书么?
            答 :进入哪个 case 是由从 NALU 头里解码出来的 nalu_type 决定的

     

    6、解码器中的误码隐藏只对丢包有用,丢包之后,包的序号不连续,解码器一旦检测到包序号不连续就会将不连续地方的 ei_flag  置 1

     

    7、字节流格式和RTP格式码流,具体的不同点有哪些?相关的资料哪里有?
          字节流格式主要用于文件存储,因此在该格式码流中 NALU 前面只有一个开始前缀,RTP格式码流因为需要进行网络传输, 因此 NALU 前面还有很多辅助信息

     

    8、rtp格式就是在字节流前加包头吗?
          不是,字节流=开始前缀+NALU,而 RTP 中没有 开始前缀

     

    9、RTP中没有开始前缀,为什么还是要插03?
           防止伪起始码、、RTP完全可以不用起始码,或许是为了与字节流格式统一吧

     

    10、NALU是对RBSP的封装。而RTP之类的是对NALU的封装。

     

    11、为什么要分ABC片?
            ——分ABC片主要目的是为了对重要程度不同的数据进行不同程度的保护

     

    12、baseline没有数据分割吧?
          baseline只是如何产生RBSP,如何封装NALU。具体如何传输,RTP之类只是一种方式,文件copy也是一种方式,那一般 baseline最多有多少参考帧?任意个。

     

    13、解码profile_idc之后解码器要做什么工作?比如baseline不支持CABAC那么后面相应的位entropy_coding_mode_flag是不是就不存在了,如果存在,相抵触怎么办?
          当然不会执行 CABAC 的代码,编码器如果是编码 baseline ,那么码流中自然就不存在与 CABAC 相关的语法元素,例如  entropy_coding_mode_flag ,解码器解码 SPS ,得知码流是 baseline 后,自然也就不会去调用与 CABAC 相关的解码程 序,也就不会出错了。profile_idc 为 baseline ,active_pps->entropy_coding_mode_flag 就不会为 CABAC,,码流是 否是 baseline 并不是由多少个参考帧决定的

     

    14、JM 进行 CAVLC 编码时候,对于 level = 8 的情况是采用 escape suffix 处理的,我修改代码将 level = 8 的情况采用无符号数表示,结果编码出来的码流与未修改完全一样

    附:RBSP、SODB、EBSP三者的区别和联系!
            SODB:最原始的编码数据,没有任何附加数据
            RBSP:在 SODB 的基础上加了rbsp_stop_ont_bit(bit 值为 1)并用 0 按字节补位对齐
            EBSP:在 RBSP 的基础上增加了防止伪起始码字节(0X03)

           1、1 frame的数据可以分为多个slice.
           2、每个slice中的数据,在帧内预测只用到自己slice的数据, 与其他slice 数据没有依赖关系。
           3、NAL 是用来将编码的数据进行大包的。 比如,每一个slice 数据可以放在NAL 包中。
           4、I frame. 是自己独立编码,不依赖于其他frame. 数据。
                P frame. 依赖 I frame. 数据。
                B frame. 依赖 I frame, P frame. 或其他 B frame. 数据。

         一个frame是可以分割成多个Slice来编码的,而一个Slice编码之后被打包进一个NAL单元,不过NAL单元除了容纳Slice编码的码流外,还可以容纳其他数据,比如序列参数集SPS。

     

    15、NAL、Slice与frame意思及相互关系

    NAL指网络提取层,里面放一些与网络相关的信息
    Slice是片的意思,264中把图像分成一帧(frame)或两场(field),而帧又可以分成一个或几个片(Slilce);片由宏块(MB)组成。宏块是编码处理的基本单元。

     

    16、NAL nal_unit_type中的1(非IDR图像的编码条带)、2(编码条带数据分割块A)、3(编码条带数据分割块B)、4(编码条带数据分割块C)、5(IDR图像的编码条带)种类型与 Slice种的三种编码模式:I_slice、P_slice、B_slice NAL nal_unit_type 里的五种类型,代表接下来数据是表示啥信息的和具体如何分块。I_slice、P_slice、B_slice 表示I类型的片、P类型的片,B类型的片.其中I_slice为帧内预测模式编码;P_slice为单向预测编码或帧内模式;B_slice 中为双向预测或帧内模式。

     

    17、还有frame的3种类型:I frame、P frame、 B frame之间有什么映射关系么?
    I frame、P frame、 B frame关系同 I_slice、P_slice、B_slice,slice和frame区别在问题1中已经讲明白。

     

    18、最后,NAL nal_unit_type中的6(SEI)、7(SPS)、8(PPS)属于什么帧呢?
    NAL nal_unit_type 为序列参数集(SPS)、图像参数集(PPS)、增强信息(SEI)不属于啥帧的概念。表示后面的数据信息为序列参数集(SPS)、图像参数集(PPS)、增强信息(SEI)。

    ========================================================
     
     
    首先我觉得先要找相关书籍把基本原理搞懂,不要急于看标准和源代码。要知道什么是采样格式,什么是I、P、B,他们的原理是什么,了解CAVLC、CABAC熵编码的实现过程,一定要认认真真。这样各个主要模块攻克之后,你就可以结合标准和源代码一步一步的看下去。
    提高技能如同提升自信心。
  • 相关阅读:
    MySQL修改配置,区分大小写
    mvc中validateinput属性在asp.net4中不工作
    VS2010开发环境最佳字体及配色
    推荐19个很有用的 JavaScript 库
    Mysql limit 优化,百万至千万级快速分页,复合索引的引用并应用于轻量级框架
    C:\Windows\system32\MSVCR100.dll 没有被指定在 Windows 上运行,或者它包含错误。请尝试使用原始安装媒体重新安装程序,或联系您的系统管理员或软件供应商以获取支持。【解决办法】
    log4net配置步骤
    TraceSource记录程序日志
    [转] WPF TextBox控件中文字实现垂直居中
    SQL Server实现类似split功能
  • 原文地址:https://www.cnblogs.com/chims-liu-touch/p/7373236.html
Copyright © 2011-2022 走看看