06-01-FFmpeg编程入门1

FFmpeg是一个开源的音视频处理库，用于处理各种媒体文件的解封装、解码、编码、转码、过滤和播放。本课程主要介绍FFmpeg编程的基础知识，包括音视频概念、常用API、结构体和播放器框架。 首先，我们要了解几个关键的概念： 1. **容器/文件（Conainer/File）**：容器是指多媒体文件的格式，如mp4、flv、mkv等，它包含了多个媒体流。 2. **媒体流（Stream）**：媒体流是一段连续的数据，可以是音频、视频或字幕，可能压缩也可能非压缩。每个媒体流都与特定的编解码器相关联。 3. **数据帧/数据包（Frame/Packet）**：数据帧是媒体流的基本组成单位，对于压缩数据，帧是编解码器处理的最小单位。数据包则是在网络传输或文件中存储的帧数据。 4. **编解码器**：编解码器负责将原始数据（如YUV图像或PCM音频）与压缩数据（如H264或AAC）之间进行转换。 在FFmpeg编程中，以下步骤是基础流程： 1. **分配解复用器上下文**：使用`avformat_alloc_context`创建`AVFormatContext`，它是解复用器的核心，用于处理整个媒体文件。 2. **根据URL打开文件或网络流**：通过`avformat_open_input`函数，传入文件名或URL，打开媒体源。 3. **读取媒体数据包**：调用`av_read_frame`来读取媒体流中的数据包。 4. **关闭解复用器**：处理完毕后，使用`avformat_close_input`关闭输入源。 接着，我们分配编解码器上下文： 1. **找到对应的AVStream**：每个媒体流由`AVStream`对象表示，它包含媒体流的元数据。 2. **分配编解码器上下文**：通过`AVCodecContext`，每个编解码器有自己的配置信息。 3. **初始化编解码器**：使用`avcodec_find_decoder`或`avcodec_find_encoder`找到合适的编解码器，并用`avcodec_open2`打开它。 解码过程涉及以下步骤： 1. **发送数据包**：调用`avcodec_send_packet`将解复用得到的数据包发送给解码器。 2. **接收解码后的帧**：通过`avcodec_receive_frame`接收解码后的`AVFrame`。 编码过程类似，只是方向相反，将`AVFrame`编码为`AVPacket`。 FFmpeg还提供了丰富的库支持，如： - **AVUtil**：提供基础工具和数据结构。 - **AVFormat**：处理文件格式和网络协议，封装了Demuxer和Muxer。 - **AVCodec**：编解码库，支持多种编解码器。 - **AVFilter**：音视频滤镜，用于特效处理。 - **AVDevice**：用于输入输出设备，如ffplay使用SDL库。 - **SwrResample**：音频重采样库。 - **SWScale**：图像格式转换和尺寸缩放。 - **PostProc**：用于后期处理，配合AVFilter使用。 初始化函数如`av_register_all()`（现在已弃用）、`avdevice_register_all()`和`avformat_network_init()`用于设置FFmpeg环境，以便处理各种组件和网络协议。 通过学习这些基础知识，开发者可以构建自己的音视频处理应用，实现播放、录制、转码等功能。在实际开发中，还会涉及到更多的细节，例如错误处理、同步控制、队列管理等，这些都是构建复杂音视频系统的基石。