没有合适的资源?快使用搜索试试~ 我知道了~
WEB RTC
4星 · 超过85%的资源 需积分: 13 28 下载量 30 浏览量
2012-11-01
22:16:12
上传
评论 1
收藏 469KB DOC 举报
温馨提示
试读
37页
WEB RTC 相关资料 很给力 http://u.download.csdn.net/upload
资源推荐
资源详情
资源评论
目录
简介
架构
架构组件介绍
相关
分析
视频
音频
展开
简介
架构
架构组件介绍
相关
分析
视频
音频
展开
编辑本段
简介
是一项在浏览器
内部进行实时视频和音频通信的技术,是谷歌
年以 ! 万美元收购 "###$% 公司而获得一项技术。
&'
实现了基于网页的视频会议,标准是 ("协议,目的
是通过浏览器提供简单的 )*% 就可以达到实时通讯(#
$%+,)能力。
(#$)项目的最终目的主要
是让 开发者能够基于浏览器(-.//0.)轻易快捷开发出
丰富的实时多媒体应用,而无需下载安装任何插件, 开发者也无需关注
多媒体的数字信号处理过程,只需编写简单的 1*% 程序即可实现,
等组织正在制定 1*%标准 ,目前是 版本,
2 状态;另外 还希望能够建立一个多互联网浏览器间健壮的实
时通信的平台,形成开发者与浏览器厂商良好的生态环境。同时,"3#
也希望和致力于让 的技术成为 (456 标准之一,可见 "3#
布局之深远。
&'
提供了视频会议的核心技术,包括音视频的采集、编解码、网
络传输
、显示等功能,并且还支持跨平台:
7%,#$0,,77。
编辑本段
架构
8
8
架构图
架构图颜色标识说明:
&'
()紫色部分是 开发者 层;
()蓝色实线部分是面向浏览器
厂商的 层
()蓝色虚线部分浏览器厂商可以自定义实现
WebRTC 架构组件介绍
(1) Your Web App
开发者开发的程序, 开发者可以基于集成 的浏览
器
提供的 开发基于视频、音频的实时通信应用。
&'
(2) Web API
面向第三方开发者的 标准 (1*%),使开发者能
够容易地开发出类似于网络视频聊天
的 应用,最新的标准化进程可以查
看这里
。
这些 可分成 、
、 三类9详细的 说明可
以看这里
&'
。
Network Stream API
47:47 用来表示一个媒体数据流。
47 在浏览器中表示一个媒体源。
RTCPeerConnection
:一个 对象允许用户在两
个浏览器之间直接通讯。
77:表示一个 ; 协议的候选者。
*:表示一个 ;*。
Peer-to-peer Data API
-#:数据通道+-#,接口表示一个在两个节点之
间的双向的数据通道 。
(3) WebRTC Native C++ API
本地 << 层,使浏览器
厂商容易实现 标准的
,抽象地对数字信号过程进行处理。
(4) Transport / Session
传输=会话层
会话层组件采用了 #)3# 库的部分组件实现,无须使
用 0=)3# 协议
a. RTP Stack 协议栈
##
b. STUN/ICE
可以通过 > 和 ; 组件来建立不同类型网络间的呼叫连接。
c. Session Management
一个抽象的会话层,提供会话建立和管理功能。该层协议留给应用开发
者自定义实现。
(5) VoiceEngine
音频引擎是包含一系列音频多媒体处理的框架,包括从视频采集卡
到网
络传输
端等整个解决方案。
:?;3 是 极具价值的技术之一,是 "3# 收购
" 公司后开源的。在 ? 上,技术业界领先,后面的文章会详细了解
a. iSAC
-$77
针对 ? 和音频流
的宽带和超宽带音频编解码器,是 音频引
擎的默认的编解码器
采样频率: -@,-@,-@;(默认为 -@)
自适应速率为 =%A6=;
自适应包大小:A %;
算法延时:2<%
b. iLBC
5B7
? 音频流的窄带语音编解码器
采样频率:!-@;
% 帧比特率为 6%
% 帧比特率为 %
标准由 ;//C6 和 /C6 定义
c. NetEQ for Voice
针对音频软件实现的语音信号处理元件
;D 算法:自适应抖动控制算法以及语音包丢失隐藏算法。使其能够
快速且高解析度地适应不断变化的网络环境,确保音质优美且缓冲延迟最小。
是 " 公司独步天下的技术,能够有效的处理由于网络抖动
和语音包
丢失时候对语音质量产生的影响。
:;D也是 中一个极具价值的技术,对于提高 ? 质
量有明显效果,加以 ;.." 等模块集成使用,效果更好。
d. Acoustic Echo Canceler (AEC)
回声消除器是一个基于软件的信号处理元件,能实时的去除 采集到
的回声。
e. Noise Reduction (NR)
噪声抑制也是一个基于软件的信号处理元件,用于消除与相关 ? 的
某些类型的背景噪声(嘶嘶声,风扇噪音等等… …)
(6) VideoEngine
视频处理引擎
?7;3 是包含一系列视频处理的整体框架,从摄像头采集视频
到视频信息网络传输再到视频显示整个完整过程的解决方案。
a. VP8
视频图像编解码器
,是 视频引擎的默认的编解码器
?! 适合实时通信应用场景,因为它主要是针对低延时而设计的编解码
器。
:?0 编解码器是 "3# 收购 E 公司后开源的,?0 现在是
4 项目的一部分,而 4 项目是 "3# 致力于推动的 (456 标
准之一
b. Video Jitter Bu7er
视频抖动缓冲器,可以降低由于视频抖动和视频信息包丢失带来的不良
影响。
c. Image enhancements
图像质量增强模块
对网络摄像头采集到的图像
进行处理,包括明暗度检测、颜色增强、降
噪处理等功能,用来提升视频质量
。
编辑本段
相关
谷歌 年 月 日宣布向开发人员开放 架构的源代码
。
这个源代码将根据没有专利费的 B(伯克利
软件发布)式的许可证向用户
提供。
&6'
目前,开发人员可访问并获取 的源代码、规格说明和工
具等。
&'
编辑本段
分析
视频
的视频部分,包含采集、编解码+=?!,、加密、媒体文
件、图像处理
、显示、网络传输
与流控+=
,等功能。
视频采集
---video_capture
源代码
在 .7$#%.*7F$. 目录下,包含接口
和各个平台的源代码。
在 7% 平台上, 采用的是 7%- 技术,来实现枚举视
频的设备信息和视频数据的采集,这意味着可以支持大多数的视频采集设备;
对那些需要单独驱动程序的视频采集卡
(比如海康
高清卡)就无能为力了。
视频采集支持多种媒体类型,比如 、G>G、"B、>G>G 等,并
可以进行帧大小和帧率控制。
视频编解码---video_coding
源代码在 .7$#%.*7F73 目录下。
采用 =?! 编解码技术。?! 是 33# 收购 E 后的
开源实现,并且也用在 4 项目中。?! 能以更少的数据提供更高质量
的视频,特别适合视频会议这样的需求。
视频加密--video_engine_encryption
视频加密是 的 *7F3 一部分,相当于视频应用层面的功
能,给点对点的视频双方提供了数据上的安全保证,可以防止在 上视
频数据的泄漏。
视频加密在发送端和接收端进行加解密视频数据,密钥
由视频双方协商,
代价是会影响视频数据处理的性能;也可以不使用视频加密功能,这样在性
能上会好些。
视频加密的数据源可能是原始的数据流,也可能是编码后的数据流。估
计是编码后的数据流,这样加密代价会小一些,需要进一步研究。
视频媒体文件--media_:le
源代码在 .7$#%.7FH# 目录下。
该功能是可以用本地文件作为视频源,有点类似虚拟摄像头
的功能;支
持的格式有 *。
另外, 还可以录制音视频到本地文件,比较实用的功能。
视频图像处理--video_processing
源代码在 .7$#%.*7F%%3 目录下。
视频图像处理针对每一帧的图像进行处理,包括明暗度检测、颜色增强、
降噪处理等功能,用来提升视频质量。
视频显示--video_render
源代码在 .7$#%.*7F7 目录下。
在 7% 平台, 采用 77C 和 77 的方式来
显示视频,只能这样,必须这样。
网络传输与流控
对于网络视频
来讲,数据的传输与控制是核心价值。 采用的是成熟
的 = 技术。
音频
剩余36页未读,继续阅读
资源评论
- 「已注销」2017-09-24别下载,,没什么用。
- nikoer2013-04-16资料不错,蛮好的
- 余亖爷2013-08-27确实很不错啊 面面俱到了 ,可以当做入门文档。
- 网络百味2013-04-11很全面的解析了webrtc,谢谢!
swt198852
- 粉丝: 12
- 资源: 76
上传资源 快速赚钱
- 我的内容管理 展开
- 我的资源 快来上传第一个资源
- 我的收益 登录查看自己的收益
- 我的积分 登录查看自己的积分
- 我的C币 登录后查看C币余额
- 我的收藏
- 我的下载
- 下载帮助
最新资源
- mosquitto-2.018-install-windows-x64
- FTPServer FTP 服务器,绿色免安装,单文件
- 梦畅语音点名软件,上课点名
- 利用ADNI数据集和标签,在tensorflow框架上使用tensorlayer接口,通过架构u-net实现海马体的分割
- Kutools for Word v9.0 office word 插件
- 修复Windows 10 LTSC 2021资源占用率高
- Hash工具,小巧绿色hash校验工具,免费hash工具
- 重启进行BIOS快捷方式,不需要开机按BIOS键
- 鸭子开车记(儿童绘本)
- 威纶通触摸屏编程软件Easy builder pro V6.09.01.556安装包(2024.04).txt
资源上传下载、课程学习等过程中有任何疑问或建议,欢迎提出宝贵意见哦~我们会及时处理!
点击此处反馈
安全验证
文档复制为VIP权益,开通VIP直接复制
信息提交成功