音视频的知识纷繁复杂，自学非常困难，既需要非常扎实的基础知识，又需要有很多的工程经验；本文就从音视频开发，开源框架，视频，业界大神，书籍推荐，就业方向分析，为广大开发者学习音视频技术提供便利。

首先我们先需要了解音视频包含哪些内容，​解决哪些问题？

说白了，音视频开发，就是要掌握图像、音频、视频的基础知识，并且学会如何对它们进行采集、渲染、处理、传输等一系列的开发和应用。

• 采集：它解决的是，数据从哪里来的问题

• 渲染：它解决的是，数据怎么展现的问题

• 处理：它解决的是，数据怎么加工的问题

• 传输：它解决的是，数据怎么共享的问题

一、音视频开发主要技术点：

二、开源框架：

实时音视频开源项目：

实时音视频应用共包括几个环节：采集、编码、前后处理、传输、解码、缓冲、渲染等很多环节。每一个细分环节，还有更细分的技术模块。

比如，前后处理环节有美颜、滤镜、回声消除、噪声抑制等，采集有麦克风阵列等，编解码有VP8、VP9、H.264、H.265等。

采集->前处理编码->传输->解码后处理->渲染

实时音视频开源项目思维导图

三、音视频开发入门必学内容​：ffmpeg

FFmpeg 是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。

以上视频资料 免费分享有需要的可以自行添加学习交流群 备注 【FFmpeg入门资料】

四、音视频业界大神

刘岐

FFmpeg官方代码维护者之一，十余年一线技术研发与技术管理经验，人称“大师兄”。现任职于OnVideo公司，担任CTO，公司联合创立人，负责在线音视频云编辑与创作平台的开发和建设。曾任职蓝汛、高升、金山云等公司，担任视频部门架构师及技术专家。

赵文杰

擅长音视频编解码和渲染技术，客户端技术专家，开源流媒体服务器SRS开发者之一，现任好未来网校事业部高级架构师一职，负责端开发。

廖庆富

主要从事音视频驱动，多媒体中间件，流媒体服务器的高级开发，主导开发过即时通讯+音视频通话的大型项目。曾就职于联发科，现任职于零声教育，资深音视频讲师。主讲WebRTC,ffmpeg,流媒体。

雷霄骅

两届CSDN博客之星、微软MVP。主要从事与广播电视有关的视音频技术的研究。包括视音频质量评价，视音频编解码，流媒体，媒资检索等。

栗伟

资深音视频技术专家，曾任职于中科院计算所、CC视频，任职期间利用WebRTC技术开发了直播、在线课堂、视频会议等商业产品，并发用户数达到500万。开源社区的积极参与者，在GitHub上开源了视频会议项目WiLearning，免费供中小企业使用。

杨成立

阿里云RTC服务器团队负责人。负责中国最大CDN蓝汛科技流媒体分发系统开发项目。主导研发转码、P2P、流媒体服务器, 开源项目SRS主要开发者之一。

五、音视频开发推荐书籍

入门系列

先从FFmpeg入手，FFmpeg的学习建议大家先学FFmpeg命令行，然后再学习FFmpeg API的使用。先掌握FFmpeg命令行能让我们快速理解FFmpeg到底能够做什么，功能有多强大。

这里只推荐2本，一本是FFmpeg命令行相关的，另一本是FFmpeg API的使用（基于Android和IOS），其他的同类书籍内容是差不多的。

进阶系列

市面上进阶的书籍不多，主要是 H264/265 编码和 WebRTC 相关的：

（1）H264/H265 编码，但大部分内容和 H264/H265 白皮书是重叠的，如果愿意啃白皮书那就没有必要买这类书籍。

《新一代高效视频编码H.265/HEVC：原理、标准与实现》现在出版社没有重新印刷了，纸质版的价格都比较高。

（2）WebRTC相关的书籍

《WebRTC权威指南(原书第3版)》书比较薄，适合了解WebRTC的基本通话原理，不适合作为WebRTC的进阶教程。

《WebRTC技术详解：从0到1构建多人视频会议系统》可以通过提供的范例实现音视频通话，适合新手快速上手WebRTC的开发。

有没有特别深入的WebRTC书籍呢，答案是：目前没有哪本书是深入讲解WebRTC，现有的WebRTC书籍都是入门级别，没有个七八百页的篇幅没法对WebRTC进行详细讲解。

以上视频资料 免费分享有需要的可以自行添加学习交流群 备注 【音视频电子书】

五、音视频岗就业方向

主要是直播，短视频，教育直播，AR，VR，云游戏，视频会议等一些场景，方向上没多少变化，只是应用场景上多了一些包装，毕竟随5G带宽硬件加速，以及人们对视频交互的需求日盛，音视频的使用场景应该会越来越多，从最近的市场需求来说，也侧面证明了需求旺盛的这一点，1-3年的普遍薪资即可达到20K-30K！

对于是否要转音视频开发，主要还是看个人的兴趣点与坚持力，音视频属于跨平台技术，常年技术知识点变换不太频繁，广度和深度兼顾，可做工程优化，可做算法深入，嵌入式多媒体芯片等，关键看个人是否有决心在多媒体领域深耕，总体前景还是有的……

如决心进入，需风雨兼程! 加油​！

最后欢迎朋友们加入学习交流群：

一些FFmpeg/WebRTC/RTMP/NDK/Android音视频流媒体高级开发学习资料资料、 音视频学习路线、系统性学习视频教学