h.264帧头格式定义.pdf

H.264视频编解码标准是目前广泛应用于视频压缩和传输的核心技术，尤其是在高清视频和流媒体领域。H.264标准定义了视频数据的帧头格式，包括网络抽象层单元（NALU）的类型、打包模式以及RTP负载格式。以下是基于提供的文件内容对H.264帧头格式定义的知识点进行详细解读。 H.264的NALU（Network Abstraction Layer Unit）是视频数据在网络中传输的单位，NALU的头部信息非常关键，它由一个字节组成，分为三个部分：forbidden_zero_bit（F）、nal_ref_idc（NRI）和类型（Type）。 1. forbidden_zero_bit（F）：占据了字节的最高位，即第0位。根据H.264标准的规定，此位必须为0。这个位的存在是为了防止一些低优先级的比特流被错误地理解为有效的数据包。 2. nal_ref_idc（NRI）：占据了字节的第1位和第2位，共有两个比特。NRI指示了NAL单元的重要性。当nal_ref_idc值为11时，表示这个NAL单元非常重要，必须被解码器接收。当nal_ref_idc为00时，表示解码器可以安全地丢弃这个NAL单元而不影响图像的回放。因此，这个参数是解码器在丢包策略中非常重要的一个参考值。 3. 类型（Type）：占据了字节的第3至第7位，共有五个比特。这五个比特决定了NALU的类型，H.264标准中定义了一系列的类型值，包括： - 1-23：表示单个NAL单元包，用于传输视频帧的压缩数据。 - 24：表示STAP-A类型，即单一时间的组合包，用于组合多个NAL单元。 - 25：表示STAP-B类型，与STAP-A类似，也是用于组合多个NAL单元，但使用的是不同的打包格式。 - 26：表示MTAP16类型，用于组合多个时间的NAL单元，最多允许组合16个NAL单元。 - 27：表示MTAP24类型，与MTAP16类似，但最多允许组合24个NAL单元。 - 28和29：分别表示FU-A和FU-B两种分片的单元，用于将NAL单元分成多个片段进行传输。 - 30-31：未定义，预留未使用。 关于打包模式，文档提到了RFC3550中规定的RTP（Real-time Transport Protocol）头结构，RTP是IP网络上进行端到端音频/视频实时传输的一种协议。RTP头通常由4个字节组成，其结构为： - V=2：RTP版本号为2。 - P：填充指示位，如果该位为1，则表示RTP包内数据部分后有填充字节。 - X：扩展头部指示位，如果该位为1，则表示RTP包头后还有扩展头部。 - CC：CSRC计数器，指示CSRC标识符的数目。 - M：标记位，用于指示当前RTP包是否是某一帧中的最后一个包。 - PT：有效载荷类型，指示RTP包中有效载荷的格式。 - 序列号：用于RTP包的排序。 - 时间戳：表示RTP包内数据的采样时间。 - 同步源标识符（SSRC）：唯一标识RTP流的源。 在RTP负载格式中，H.264视频数据被封装在RTP包中，并根据NALU的类型来决定打包方式。例如，单个NAL单元将直接作为RTP负载，而分片的NALU单元则会被拆分成多个RTP包进行传输。 了解了这些信息后，我们知道了H.264视频数据在传输时需要经过打包和封装，并利用NALU头部信息来标识不同类型的视频数据。这些头部信息对于视频流的正确解析和显示至关重要。在视频压缩和网络传输中，需要充分考虑到NALU的类型和打包模式，以确保视频数据的完整性和效率。