RFC3984协议-H.264(RTP荷载格式)资源-CSDN文库

H.264

RFC3984

5星 · 超过95%的资源需积分: 50 16 浏览量 2013-04-01 17:03:11 上传评论收藏 569KB PDF 举报

资源详情

资源评论

资源推荐

H.264视频的RTP荷载格式

Status of This Memo

This document specifies an Internet standards track protocol for the

Internet community, and requests discussion and suggestions for

improvements. Please refer to the current edition of the "Internet

Official Protocol Standards" (STD 1) for the standardization state

and status of this protocol. Distribution of this memo is unlimited.

Abstract

This memo describes an RTP Payload format for the ITU-T

Recommendation H.264 video codec and the technically identical

ISO/IEC International Standard 14496-10 video codec. The RTP payload

format allows for packetization of one or more Network Abstraction

Layer Units (NALUs), produced by an H.264 video encoder, in each RTP

payload. The payload format has wide applicability, as it supports

applications from simple low bit-rate conversational usage, to

Internet video streaming with interleaved transmission, to high bit-

rate video-on-demand.

1. 介绍 ........................................ 3

1.1. H.264 Codec ............................... 3

1.2. 参数集概念 ........................... 4

1.3. 网络抽象层单元类型............................ 5

2. 约定 ......................................... 6

3. 范围 ............................................... 6

4. 定义和缩写 ................................. 6

4.1. 定义 ..................................... 6

5. RTP 荷载格式 ..................................... 8

5.1. RTP 头的使用.................................. 8

5.2. RTP荷载格式的公共使用 .............. 11

5.3. NAL单言字节的用法 ............................ 12

5.4. 打包方式 .................................... 14

5.5. 解码顺序号 (DON)............................. 15

5.6. 单个NAL单元包................................. 18

5.7. 复合包 ................................. 18

5.8. 分片单元 (FUs) ............................... 27

6. 分包规则 ................................... 31

6.1. 公共分包规则 .............................. 31

6.2. 单个NAL单元方式............................... 32

6.3. 非交错方式 ............................... 32

6.4. 交错方式 ............................... 33

7. 打包过程 (信息) ........................ 33

7.1. 单NAL单元和非交错方式 ................ 33

7.2. 交错方式 ............................... 34

7.3. 附加的打包原则 .................. 36

8. 荷载格式参数 ................................... 37

8.1. MIME 注册 .................................... 37

8.2. SDP 参数...................................... 52

8.3. 例子.......................................... 58

8.4. 参数集考虑 ............................ 60

9. 安全考虑 ....................................... 62

10. 拥塞控制............................................ 63

11. IANA考虑 ........................................... 64

12. 信息化附录: 应用例子 .................... 65

12.1. 根据ITU-T H.241 附录A的视频电话............... 65

12.2. 没有分片数据分区，没有NAL单元聚合的视频电话... 65

12.3. 使用NAL单元聚合交错打包的视频电话............. 66

12.4. 使用数据分区的视频电话 .................. 66

12.5. 使用FU和向前纠错的视频电话和流................ 67

12.6. 低位率流 .................................. 69

12.7. 视频流中健壮的包调度 ............. 70

13. 信息化附录:解码顺序号的原理 ..... 71

13.1. 介绍.......................................... 71

13.2. 多图像片断交错的例子 ............. 71

13.3. 健壮包调度的例子 .................... 73

13.4. 冗余编码片断健壮传输调度的例子................ 77

13.5. 其它设计可能的提醒 ................... 77

14. 致谢 .............................................. 78

15. 参考 ............................................... 78

15.1. 标准化参考.................................... 78

15.2. 参考性的参考.................................. 79

作者地址................................................ 81

1. 介绍

1.1. H.264 Codec

本文指定一个RTP荷载规范用于ITU-T H.264 视频编码标准（ISO/IEC 14496 Part 10 [2]）(两个都称为高

级视频编码AVC). H.264建议在2005年5月被ITU-T采纳, 草案规范对于公共回顾可用[8]. 本文H.264 缩写用

于codec和标准,但是本文等价于采纳 ISO/IEC相似的编码标准.

H.264 视频 codec又非常广泛的应用覆盖所有格式的数字压缩视频格式,从低带宽的Internet流应用到HDTV

广播和数字影院应用。和当前的技术状态比较, 整个H.264的性能被报告节省50%的位率。例如，数字卫星TV质

量被报告在1.5 Mbit/s,就可以实现，而当前的MPEG 2的操作点在大约3.5 Mbit/s [9].

该codec规范自己概念上区分[1]视频编码层(VCL)和网络抽象层(NAL). VCL包含Codec的信令处理功能;以及

如转换，量化，运动补偿预测机制；以及循环过滤器。他遵从今天大多数视频codec的一般概念,基于宏快的编

码器，使用基于运动补偿的图像间预测和残余信号的转换编码。VCL编码器输出片断: 一个位串包含整数数目宏

快的宏块数据，以及片断头信息(包含片断内第一个宏快的空间地址, 初始量化参数以及相似信息). 片断内的

宏快按照扫描顺序安排，除非指定一个不同的宏块分配,通过使用被称为灵活宏块顺序语法Flexible

Macroblock Ordering syntax.图像内的预测只用于一个片断内部。更多信息在[9]提供.

(NAL)编码器封装VCL编码器输出的片断到网络抽象层单元(NAL units),它适合于通过包网路传输或用于面

向包的多路复用环境。H.264的附录B定义封装过程传输这样的NAL单元通过面向字节流的网络。本文档范围, 附

录 B 不相关的。

NAL使用NAL单元. 一个NAL单元由一字节的头和荷载字节串组成。头指示NAL单元的类型, 是否有位错误或

语法冲突在NAL单元荷载中,以及对于解码过程该NAL单元相对重要性的信息。本RTP荷载规范被设计成不了解NAL

单元荷载的位串。

H.264的一个主要特性是传输时间，解码时间，图像以及片断采样演示时间完全的解耦合。H.264中指定的解

码过程是不知道时间的, 并且H.264语法没有运送如跳过帧数目(在早期视频压缩标准，时间参考格式中是普遍

的)信息.同时，有的NAL单元影响许多图像，因此固有的是无时间性的。因为这样的原因，处理RTP时戳要求对

于采样或演示时间没有定义或者在传输时间不知道的NAL单元进行一些特殊的考虑。

1.2. 参数集概念

H.264一个非常基本的设计概念是产生自包含包, 使得如RFC2429的头重复或MPEG-4的头扩展编码（HEC）[11]

机制变得不必要。这是通过从媒体流解耦合不止一个片断的相对信息来实现的。高层meta信息应该可靠/异步的

发送,事先不和包含片断包的RTP包流发送。(对于没有通过带外传输信道发送本信息的应用，通过带内发送本信

息也提供了手段)。高层参数的组合被称为参数集。H.264规范包括两类参数集:顺序参数集和图像参数集。一个

活动顺序参数集在一个编码视频序列中保持不变,一个活动图像参数集在一个编码图像里保持不变。顺序和图像

参数集结构包含如图像大小，采用的可选的编码模式，宏块到片断组映射等信息。

为了改变图像参数(如图像大小)而不用同步传送参数集修改给片断包流,编码器和解码器可以维护不止一个

顺序和图像参数集的列表。每个片断头包含一个码字指示使用的顺序和图像参数集。

本机制允许从包流中解耦合参数集的传输,通过外部手段传输他们(即,作为能力交换的副作用),或通过一个

(可靠或不可靠)控制协议他们从没有被传送但是被应用设计规范修复甚至是可能的。

1.3. 网络抽象层单元类型

可以在[12], [13],[14]中找到关于NAL设计的学习信息.

所有NAL单元有一个单个NAL单元类型字节,他也作为本RTP荷载格式的荷载头.后面立即跟随NAL单元的荷载。

NAL单元类型字节的语法语义在[1]中指定,但是NAL单元类型的基本属性总结如下。NAL单元类型字节格式如

下：

+---------------+

|0|1|2|3|4|5|6|7|

+-+-+-+-+-+-+-+-+

|F|NRI| Type |

+---------------+

NAL单元类型字节部件的语义在H.264规范中制定, 简要描述如下.

F: 1 bit

forbidden_zero_bit. H.264规范声明设置为1指示语法违例。

NRI: 2 bits

nal_ref_idc. 00值指示NAL单元的不用于帧间图像预测的重构参考图像。这样的NAL单元可以被丢弃而

不用冒参考图像完整性的风险。大于0的值指示NAL单元的解码要求维护参考图像的完整性。

Type: 5 bits

nal_unit_type. 本部件指定NAL单元荷载类型定义在[1]的表 7-1中和本文后面。为了参考所有当前定

义的NAL单元类型和他们的语义，参考 [1]的7.4.1.

本文引入新的NAL单元类型，在5.2演示. 定义在本文的NAL单元类型在[1]中标记为未指定。但是,本规范扩

展了F和 NRI的语义，象5.3描述的那样.

2. Conventions

The key words "MUST", "MUST NOT", "REQUIRED", "SHALL", "SHALL NOT",

"SHOULD", "SHOULD NOT", "RECOMMENDED", "MAY", and "OPTIONAL" in this

document are to be interpreted as described in BCP 14, RFC 2119 [3].

This specification uses the notion of setting and clearing a bit when

bit fields are handled. Setting a bit is the same as assigning that

bit the value of 1 (On). Clearing a bit is the same as assigning

that bit the value of 0 (Off).

3. Scope

This payload specification can only be used to carry the "naked"

H.264 NAL unit stream over RTP, and not the bitstream format

discussed in Annex B of H.264. Likely, the first applications of

this specification will be in the conversational multimedia field,

video telephony or video conferencing, but the payload format also

covers other applications, such as Internet streaming and TV over IP.

4. 定义和缩写

4.1. 定义

本文档使用[1]中的定义. 为了方便以下定义在[1]中的词语总结出来：

access unit: 一组NAL单元总包括一个主要的编码图像。除了主要的编码图像,一个 access unit也可以

包含一个或多个冗余编码图像或其他的不包括片断或编码图像片断分区数据的NAL单元。access unit的解码总

是导致一个解码的图像。

coded video sequence: A sequence of access units that consists, in

decoding order, of an instantaneous decoding refresh (IDR) access

unit followed by zero or more non-IDR access units including all

subsequent access units up to but not including any subsequent IDR

access unit.

IDR access unit: An access unit in which the primary coded picture

is an IDR picture.

IDR picture: A coded picture containing only slices with I or SI

slice types that causes a "reset" in the decoding process. After

the decoding of an IDR picture, all following coded pictures in

decoding order can be decoded without inter prediction from any

picture decoded prior to the IDR picture.

primary coded picture: The coded representation of a picture to be

used by the decoding process for a bitstream conforming to H.264.

The primary coded picture contains all macroblocks of the picture.

redundant coded picture: A coded representation of a picture or a

part of a picture. The content of a redundant coded picture shall

not be used by the decoding process for a bitstream conforming to

H.264. The content of a redundant coded picture may be used by

the decoding process for a bitstream that contains errors or

losses.

VCL NAL unit: A collective term used to refer to coded slice and

coded data partition NAL units.

In addition, the following definitions apply:

decoding order number (DON): A field in the payload structure, or

a derived variable indicating NAL unit decoding order. Values of

DON are in the range of 0 to 65535, inclusive. After reaching the

maximum value, the value of DON wraps around to 0.

NAL unit decoding order: A NAL unit order that conforms to the

constraints on NAL unit order given in section 7.4.1.2 in [1].

transmission order: The order of packets in ascending RTP sequence

number order (in modulo arithmetic). Within an aggregation

packet, the NAL unit transmission order is the same as the order

of appearance of NAL units in the packet.

media aware network element (MANE): A network element, such as a

middlebox or application layer gateway that is capable of parsing

certain aspects of the RTP payload headers or the RTP payload and

reacting to the contents.

Informative note: The concept of a MANE goes beyond normal

routers or gateways in that a MANE has to be aware of the

signaling (e.g., to learn about the payload type mappings of

the media streams), and in that it has to be trusted when

working with SRTP. The advantage of using MANEs is that they

allow packets to be dropped according to the needs of the media

coding. For example, if a MANE has to drop packets due to

congestion on a certain link, it can identify those packets

whose dropping has the smallest negative impact on the user

experience and remove them in order to remove the congestion

and/or keep the delay low.

缩写

DON: 解码顺序号

DONB: 解码顺序基

DOND: 解码顺序号差

FEC: 向前纠错

FU: 分片单元

IDR: 瞬间解码刷新

IEC: 国际电子委员会

ISO: 国际标准化组织

ITU-T: 国际电联-通信标准部门

MANE: 美提感知网络元素

MTAP: 多时刻聚合包

MTAP16: 16位时戳位移的MTAP

MTAP24: 24位时戳位移的MTAP

NAL: 网络抽象层

NALU: NAL单元

SEI: 补充增强信息

STAP: 单时刻聚合包

STAP-A: STAP类型A

STAP-B: STAP类型B

TS: 时戳

VCL: 视频编码层

剩余80页未读，继续阅读

卧石青篱

2013-08-03

协议文档，主要是工作上查询使用，很有用的

评论收藏

内容反馈

laozhai

粉丝: 0
资源: 13

RFC3984协议-H.264(RTP荷载格式)

评论1

最新资源

RFC3984协议-H.264(RTP荷载格式)

评论1

RFC3984协议-H.264(RTP荷载格式).pdf

RFC4566中文版

RFC3984中关于H.264的rtp包格式

H.264 RTP payload 格式

H.264 视频 RTP 负载格式

基于 RTP 协议的 H.264 视频传输系统.doc

H.264的RTP打包格式中文版

RFC3984协议（H.264）原版协议文档

rfc3984_H.264中文版和RTP-RFC_3550中文版

Python库 | rfc-xmldiff-0.5.2.tar.gz

Python库 | sf-rfc-validate-0.0.8.tar.gz

RTP协议实现H.264视频文件传输

RTP资料大收集——RTP协议，H264负载格式，源码，流媒体，JRTP

RTP_RTCP中英文协议文档及封包格式、协议分析，无线视频包丢失重传机制讲解及实现过程.zip

RTP-RTCP中英文协议文档及封包格式、协议分析，无线视频包丢失重传机制讲解及实现过程.zip

RFC-3550-RTP协议-中文版.pdf

按照RFC3984协议实现H264视频流媒体源代码

RTP_Protocol.rar_h.264 NALU_nalu_rfc3984_rtp 264

RFC-6184 RTP Payload Format for H.264 Video (H.264)

前向纠错码(FEC)的RTP荷载格式

音视频传输：RTP协议详解和H.264打包方案.pdf

RFC 3984 - RTP Payload Format for H_264 Video

rfc4571-rtpovertcp.pdf

rfc3984 (ForH264)

RFC文档阅读1-100.pdf

RFC3984中文版.doc

feng-2.0.tar.gz_MPEG-4 Part 3 Audio_aac rtsp_feng rtsp_rtsp aud

最新资源