没有合适的资源?快使用搜索试试~ 我知道了~
H264媒体和数据传输介绍.docx
0 下载量 52 浏览量
2023-07-12
12:29:09
上传
评论
收藏 51KB DOCX 举报
温馨提示
试读
11页
H264媒体和数据传输介绍.docx
资源推荐
资源详情
资源评论
H264 媒体简洁说明
一、H264 简介
H264 分层构造由五层组成:
序列参数集(sps)
图像参数集(pps)
片(slice)
宏块、
子块
其中后面层应用前面层(或则说附属关系);其中序列的第一个帧叫做IDR 帧,用于清空参考帧
队列,避开错误累积。
H264 nalu 包 RTP 传输 一般分为三种状况:
单一 nalu 模式,一般nalu<mtu
组合封包模式,多个nalu 组成一个RTP 包
分片封包模式,一般nalu>mtu
H264nalu 头
说明
备注
00
字节 1
bit0
forbid
0/1
bit1~2
NRI
0~3,说明该帧的重要程度,越
大越重要
bit3~7
24~25,单一时间组合包
26~27,多个时间组合包
28~29,分片的单元
30~31,没有定义
<24 的状况,对该包进展了关键
描述
5
表示IDR 帧
6
表示增加信息单元SEI
7
表示SPS
8
表示PPS
如字节 0 的 bit3~7 为 28/29,则进展字节 1 的解析
01
字节 2
bit0
是否 first packet
0/1
bit1
是否 last packet
0/1
bit2
forbid
0/1
bit3~bit7
Nal_unit_type
Nalu 类型,如 5 IDR 帧
依据不同帧的状况来实现不同打包,代码可参考 NALU 打 包demo
二、H264 的文件存储和传输区分
H264 的文件存储:
每一个NALU 包前都会多一个 00 00 01 or 00 00 00 01 的起始头,作为NALU 包之间的分
隔标识;并通过给非起始头的 00 00 后插入 0x03 来避开标识冲突。取数据后,起始头需要丢掉,
0x03 数据也需要去除。
H264 的文件传输:
NALU 包属于传输包的自然分割,不需要加起始头。
包格式一般是: x 串+h264nalu 头+h264data
比方RTP 传输,x 串往往就是RTP 头(一般 12 字节)
三、H264 和 MP4 关系
是 ITU-T 与 ISO/IEC 两个组织联合进开放发的视频编解码方案。
ITU-T 命名为H264
ISO/IEC 命名为MPEG-4 AVC 是 MPEG-4 标准的第 10 局部
其中 标准H264 格式的文件存储不是国际标准格式
00
01
02~03
04~07
说明 备注
Ver(2)、padding(0)、extension(0)、coontributing 常为 80
source identifiers count(0,后 4bit)
Marker(1bit),Payload type(后 7bit)
序列号
时间戳
08~11
…
同步源标识
奉献源标识(多个)
0,>=96(sip sdp 中全都)
每发一个RTP 包+1,初始值随机
每个帧不同,初始值随机
步长 90000/n(帧/s),同帧值一样
需要分析帧状况来进展
一个会话中,一种媒体唯一
混合器插入时才有,不考虑
相关传输协议简洁说明(本次使用到)
一、RTP/RTCP、RTSP、SIP 等
RTP/RTCP是传输层的传输和把握协议,是一个传输子层,运行在TCP/UDP 之上
RTSP/SIP 是更上一层的传输协议
SIP 运行在RTP 之上
RTSP 直接在TCP/UDP 上运行
二、RTP 包头
音频和视频承受不同端口,初期先考虑仅H264 视频
三、RTCP
在 RTP 会话期间,各参与者周期性地传送 RTCP 包,包中含有已发送的数据包的数量、丧失的
数据包的数量等统计资料。分为五类:
200
SR 发送端报告 主要考虑
201
RR 接收端报告
202
SDES 源点描述
203
BYE 完毕传输
204
APP 特定应用
SR 主要包括:相应的 RTP 流的 SSRC(丧失率、累计丢包数、接收抖动、上次SR 以来的延时
等)、RTP 流中最产生的RTP 分组时间戳和NTP、RTP 流包含的分组数、字节数。
详情参见附录三 RTCP 包构造说明
RTP 发往对端UDP 的偶数端口N,RTCP 发往对端UDP 的奇数端口N+1
发送周期(限制 RTCP 占 RTP 会话量的一小局部,通常不超过 5%),计算起来比较麻烦
临时先简化 试试:每20 个 RTP 包发送一个RTCP SR and RR包?小文件传输测试时,先不发
RTCP 包,看能不能找到个demo 来编程参考,这局部很繁杂
RTCP 执行以下四大功能:
主要是供给数据公布的质量反响。是作为 RTP 传输协议的一局部,与其他传输协议的流和
堵塞把握有关。反响对自适应编码把握直接起作用,但 IP 组播阅历说明,从发送者收到反响
对诊断发送错误是致关重要的。
RTCP 带有称作标准名字〔CNAME〕的 RTP 源长期传输层标识。如觉察冲突,或程序重启
动,既然 SSRC 标识可转变,接收者需要 CNAME 跟踪参与者。接收者也需要 CNAME 与
剩余10页未读,继续阅读
资源评论
matlab大师
- 粉丝: 2449
- 资源: 9万+
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功