C/C++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器

C/C++音视频实战-gb28181系列-pjsip-sip栈-h264安防流媒体服务器 学习地址1：https://pan.baidu.com/s/1qkXbWhRMW7P7SZ025KNvJA 提取码: w4gt 学习地址2：https://share.weiyun.com/mqG3J1e5 密码：85ma6s 音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。 一、C++音视频需要掌握哪些技术 1、搞音视频必须有扎实的C/C++开发语言基础、 JNI基础，学会如何交叉编译 FFmpeg 等 C/C++库； 2、其次，我们需要阅读大量的音视频规范/协议文档（如H264、MP4/FLV、RTP/RTCP等）。这些文档中的内容基本都以位为单位的，每个二进制位的变化都代表不同的含义，涉及到的东西很多。比如APK多渠道打包就要我们了解zip格式中字节数据的意义，这还只是字节，一个字节8位，去分析H.264要更细致到二进制位的数据，信息量就更大了。 3、然后我们就可以学习音视频的基础知识了：RGB、YUV像素数据处理、PCM音频采样、H.264音视频码流解析以及Android平台多媒体相关如：Camera、AudioTrack、OpenGL ES、 OpenSL ES等等； 4、网络编程体系知识点在音视频开发中非常重要！面试中面试官经常会问网络传输音视频数据相关知识。 一个完整的视频文件是由音频和视频2部分组成的，而视音频又是由封装格式和编码格式构成，我们在表面看到的如AVI、RMVB、MKV、WMV、MP4、3GP、FLV等文件其实只能算是一种封装标准，一个外壳。 外壳里面核心还有一层是编码文件，编码文件经过封装后，才成为我们现在看到的.mp4 .avi等视频。如H.264、mpeg-4等就是视频编码格式, MP3、AAC等就是音频编码格式。 二、C++音视频难学吗？ 因为音视频开发相对于C++来讲，知识点并不多。音视频开发的主要编程语言就是C和C++。有C++基础的同学，学习起来没有难度。说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。 三、如何学习音视频开发？ 对音视频的基础知识要有所了解，不能对PCM、H264等不知所云,C/C++的基本知识，例如指针这个是必须要会的，不然你可能连别人的代码都看不懂，但不必在这耗费过多精力，与音视频学习同步进行即可。学会如何交叉编译 FFmpeg 等 C/C++库。 JNI/NDK的基本知识：崩溃定位，Cmake语法等。 OpenGL这个主要是在视频渲染或对视频进行逐帧加工处理会用到，属于高阶音视频开发技巧了。 还有像shell脚本等知识我先暂且不表，再说下去担心把大家劝退……掌握扎实的基础知识之后，音视频学习路径可以这样规划： 初级 Java层面的一些API调用：使用AudioRecord进行录音得到PCM，使用AudioTrack播放PCM音频、使用Camera2采集摄像头数据、使用 MediaExtractor 和 MediaMuxer API 解析和封装 mp4 文件、使用MediaCodec进行硬件编解码等。中级 中级更多涉及到一些音视频开源库的编译和使用,这里就需要NDK的相关知识了：FFmpeg交叉编译，FFmpeg进行软件编解码、FFmpeg集成xh264，FFmpeg集成Rtmp推流等。 高级进阶 深入研究音视频相关的网络协议，如 rtmp，hls，以及封包格式，如：flv，mp4。深入学习一些音视频领域的开源项目，如 webrtc，ffmpeg，ijkplayer，librtmp 等等。尝试造一个ijkplayer的轮子、尝试使用OpenGL模仿各种抖音效果等等。 网络编程体系知识点在音视频开发中非常重要！面试中面试官经常会问网络传输音视频数据相关知识。 四、C++音视频就业前景 1、流媒体开发工程师 流媒体网络通讯开发岗位 占70%～ 80%，就业集中在芯片、安防、数字电视、广告、行车记录仪、车载系统、智能家居、楼宇对讲、视频会议…大部分从业者吃饭靠这个领域。 2、数字图像处理 音视频图像处理岗位，占大约20%+。主要集中在视频剪辑，特效，医疗，教育领域. 最近几年新兴的VR/AR领域。 3、音视频生产工程师 生产是两方面： 1.从摄像头和麦克风采集视频和音频，然后合成视频的过程 2.剪辑音视频 包括音视频特效、滤镜、水印、花字等等，都是音视频生产工程师的工作范畴，这部分一般不涉及网络，都是”单机“的工作。 4、音视频消费工程师 狭义的理解就是播放器工程师，广义的理解就是音视频渲染工程师，将音频和视频分别渲染出来。这儿需要对网络协议、性能优化、队列处理、音视频同步等有较深的掌握。 最起码对ijkplayer、VLC、ExoPlayer有较深的掌握。 5、音视频传输工程师 将采集到的音视频传输到服务端，在服务端处理音视频，同时发送到客户端的工程流程。这需要很强的C++g功底，掌握各种传输协议，熟悉TCP/UDP/RTMP/WebRTC等等，弱网环境的优化，类似Jitter buffer和NQE等调优的手段。 6、音视频算法工程师 音视频编码算法优化，包括x264/x265/av1等视频编码算法优化，还有声音调优算法、图像调优算法，这个岗位的门槛比较高，一般而言，至少硕士起步。