Linphone的mediastreamer2源码分析.doc

对MEDIASTREAMER2从以下方法进行描述： 1. 目的 2. 总体架构 2.1. 概述 2.2. 总体描述 2.2.1. 业务流程描述 2.2.2. 总体功能模块描述 2.3. 功能描述 2.3.1. 注册FILTER 2.3.2. FILTER Link/执行 2.3.3. 循环执行 FILTER 2.3.4. FILTER UNILIK 2.3.5. RTP 发送/接收FILTER 2.3.6. 音频编解码FILTER 2.3.7. 视频编解码FILTER 2.3.8. 音视频播放FILTER 2.3.9. 音视频捕获FILTER 2.3.10. ORTP的功能描述 2.4. 程序运行逻辑 2.4.1. MEDIASTREAMER2 2.4.2. ORTP 3. 编译流程 3.1. 平台描述 3.2. 依赖环境 3.3. 编译设置 4. 二次扩展 4.1. 功能修改 4.2. 编/解码的扩展 4.2.1. ORTP扩展 4.2.2. MEDIASTREAMER2扩展 4.2.3. 调用 4.3. 插件的扩展 4.3.1. ORTP中的配置 4.3.2. MS中的配置 4.3.3. 遵循的函数接口标准 4.3.4. 调用 5. 数据结构 5.1. 框架数据结构 5.1.1. 函数指针定义： 5.1.2. MSFilterMethod 5.1.3. MBLK_T 5.1.4. MSFilterDesc 5.1.5. MSFilter 5.1.6. MSConnectionPoint 5.2. 传输数据结构 6. API描述 6.1. 传输API 6.2. 语音控制API 6.3. 视频控制API 6.4. 编/解码API 6.5. FILTER管理API 7. MS与SIP集成 8. MS提供给界面控制的函数 9. MS中其它描述 **mediastreamer2源码分析** 1. **目的** mediastreamer2是一个开源的多媒体处理库，主要用于VoIP应用，如Linphone。它的主要目的是为开发者提供一个跨平台的框架，以便轻松实现音频和视频的编解码、传输以及流媒体处理。通过对源码的分析，我们可以深入理解其内部工作原理，从而进行定制化开发或性能优化。 2. **总体架构** 2.1 **概述** mediastreamer2采用了模块化的架构设计，包含多个可复用的FILTER（滤波器），这些FILTER负责特定的任务，如音频编解码、RTP发送/接收等。它们通过链接在一起形成一个处理链，以处理从输入到输出的媒体数据。 2.2 **总体描述** 2.2.1 **业务流程描述** mediastreamer2的业务流程主要包括媒体数据的采集、编码、网络传输、解码和播放。数据通过音视频捕获FILTER获取，然后经过相应的FILTER链进行处理，最后由播放FILTER输出。 2.2.2 **总体功能模块描述** 主要功能模块包括FILTER注册、FILTER链接与执行、FILTER链的循环执行、FILTER的删除以及RTP相关的FILTER。每个模块都有明确的职责，协同完成媒体处理任务。 3. **功能描述** 3.1 **注册FILTER** FILTER的注册允许开发者添加自定义的FILTER到系统中，使其能被其他部分调用。 3.2 **FILTER Link/执行** FILTER通过链接形成处理链，每个FILTER执行其特定的处理操作，如音频编码、视频编码等。 3.3 **循环执行 FILTER** 在处理链中，FILTER按照顺序循环执行，确保数据在链中流动并得到处理。 3.4 **FILTER UNILIK** FILTER的解除链接用于断开FILTER之间的连接，可能在重新配置或关闭某个FILTER时使用。 3.5 **RTP发送/接收FILTER** 这些FILTER负责RTP协议的数据包发送和接收，是VoIP通信的关键部分。 3.6 **音频编解码FILTER** 音频编解码FILTER实现各种音频编码格式的转换，如G.711、AAC等。 3.7 **视频编解码FILTER** 视频编解码FILTER处理视频帧的编码和解码，支持H.264、VP8等常见标准。 3.8 **音视频播放FILTER** 播放FILTER将解码后的音频和视频数据送至输出设备，如扬声器和显示器。 3.9 **音视频捕获FILTER** 捕获FILTER负责从麦克风和摄像头获取原始的音视频数据。 3.10 **ORTP的功能描述** ORTP是mediastreamer2的底层实时传输库，提供网络传输和定时服务。 4. **编译流程** 编译流程涉及平台描述、依赖环境设定和编译选项配置，以确保在不同平台上正确构建mediastreamer2。 5. **二次扩展** 开发者可以通过修改现有FILTER、添加新FILTER或扩展编解码器来增强mediastreamer2的功能。 6. **数据结构** 5.1.1 **函数指针定义** 5.1.2 **MSFilterMethod** 5.1.3 **MBLK_T** 5.1.4 **MSFilterDesc** 5.1.5 **MSFilter** 5.1.6 **MSConnectionPoint** 这些数据结构构成了mediastreamer2的核心，定义了FILTER的接口和行为，以及FILTER间的连接方式。 7. **API描述** 包括传输API、语音控制API、视频控制API、编解码API以及FILTER管理API，提供了与库交互的接口。 8. **MS与SIP集成** mediastreamer2能够与SIP协议集成，实现VoIP通信的呼叫建立、媒体协商等功能。 9. **MS提供给界面控制的函数** 提供了用于用户界面控制的函数，使开发者可以创建自定义的用户界面来控制mediastreamer2。 10. **MS中其它描述** 文档还可能包含关于错误处理、性能调优、调试工具等其他方面的信息。 通过对mediastreamer2源码的深入分析，开发者可以了解其内部工作原理，从而实现高效的多媒体处理和自定义功能扩展，以满足特定的VoIP应用场景需求。