Android音视频开发，我想很多开发者都知道这个概念，音视频开发不仅需要掌握图像、音频、视频的基础知识，并且还需要掌握如何对它们进行采集、渲染、处理、传输等一系列的开发和应用，因此，音视频开发是一门涉及到很多内容的领域，主要内容如下（一图胜千言）

采集，在音视频开发中主要针对的是数据从哪里来的问题。图像、视频的可视化数据来自摄像头这毫无疑问，而音频数据则是来自麦克风，关于采集的知识点涉及到如下内容：

渲染，在音视频开发中主要针对的是数据展现的问题。我们知道，图像、视频最终都是要绘制到视图（View层）上面，而音频最终都是要输出到扬声器，因此，做音视频渲染，就要掌握如下的技术知识：

渲染，在音视频开发中主要针对的是数据如何加工的问题，那具体怎么处理？如下图：

针对图像和音视频的处理，实现方式除了使用系统的 API，大多数也会使用一些优秀的第三方库，通过掌握这些第三方库的原理和使用方法，基本上就可以满足日常音视频处理工作了，这些库包括但不限于：

传输，在音视频开发中主要针对的是数据共享的问题，采集完并处理数据以后，我们如何快速传输数据这一难题又摆在了面前，试想如果一个以音视频为主导业务的APP如果在播放过程中非常卡顿的话，用户体验那会是非常糟糕的。因此，解决传输的问题也就摆在了我们的面前。那么，数据究竟如何实现传输共享呢？共享，实现细则最重要的一点，就是协议，因此需要具体掌握的协议如下：

总体来说 Android音视频开发属于高级研发工程师涉及到的领域，市场上对于Android音视频开发工程师提供的薪资真的是very very可观的，另外，Android音视频开发的学习系列文章主要是参考 Jhuster前辈的博客和指导意见，这里在次感谢前辈们的无私分享，前辈也给出了具体的学习任务线，具体内容如下：

如果这篇文章对您有开发or学习上的些许帮助，希望各位看官留下宝贵的star，谢谢。

音视频开发，无论你做iOS/Android/Qt客户端，还是嵌入式linux,服务器开发。最后可分为三大就业方向：

1流媒体网络通讯开发

流媒体网络通讯开发岗位占70%～ 80%，就业，集中在芯片，安防，数字电视，广告，行车记录仪，车载系统，智能家居，楼宇对讲，视频会议....大部分从业者吃饭靠这个领域。需要掌握的是unix操作系统，网络socket通讯,音视频基础,264/265基础，编解码,FFmpeg,常见的网络通讯协议TCP/UDP/RTMP/RTSP/RTP/HLS,当然还有WebRTC.为什么大部分就业岗位都在这个领域，因为这个领域百花齐放，大量的硬件公司，各行各业，光一个跟摄像头相关的安防产业年产值就是几万亿，只要有摄像头的地方，就需要软件开发者，而且薪水还不错，入门者大部分年薪30W+。年薪50W，百万级的程序员也有，主要研究音视频流媒体领域的应用。

2数字图像处理

音视频图像处理岗位，占大约20%+。主要集中在视频剪辑，特效，医疗，教育领域.最近几年新兴的VR/AR领域。需要掌握的主要是音视频开发基础，FFmpeg, 重点是OpenGL/ES，会大量使用OpenGL/ES去写一些轻量级的渲染引擎。你可以把它看作一个精简版的游戏渲染引擎。这个领域有些特殊，容易跟互联网结合，一些软件容易形成垄断，比如视频剪辑领域，就那么三四个玩家。垄断了80%以上的份额。Finalcut pro, premire, Davinci.. 形成垄断的行业，绝大多数利润会向头部集中，也就不需要那么多就业，细分领域不多。

当然，这个领域也有自己的一些优势，比如比流媒体容易学习一些。未来十年前景也非常好。可以快速上手。c c++基础好，精通OpenGL/FFmpeg，可以轻松上年薪50W+.

3 AI 

小于5% 其实AI本来应该发展很迅猛的，但受限于MYZ，疫情，芯片严重缺货。终端，边缘计算领域，这几年还没发展起来。这个领域需要部分音视频基础 opencv，tensorflow，机器学习，深度学习...

总结

三大方向，基础都差不多。c/c++ unix操作系统，网络通讯.

最后每个人的发展侧重点不一样，有的做网络通讯比较多，有的做数字图像处理… 计算机领域的知识很庞大，就一个音视频这么小的一个领域，你就只能做其中一个点，比如专注网络通讯流媒体，专注图像处理。都是十年磨一剑的领域，想通吃，就准备花大量的时间研究学习，熬夜。甚至准备进ICU，腰椎间盘突出...所以即使在音视频开发领域，最后选择一个自己喜欢的方向依然重要。

有的人在做iOS,有的人在做安卓，有的人在做嵌入式linux，还有的人在做PC/Qt开发。

到最后你发现都大同小异。

无论你做什么，人一辈子，要做到终身学习，每天学习。

每天进步一点点。日积月累，才能有所成就。

ffmpeg常用命令

封装格式。

编码的本质就是压缩数据

音频编码的作用：将音频采样数据（ PCM等）压缩成音频码流，从而降低音频的数据量。常用的音频编码方式有以下几种：

H264压缩技术主要采用了以下几种方法对视频数据进行压缩。包括：

经过压缩后的帧分为：I帧，P帧和B帧:

除了I/P/B帧外，还有图像序列GOP。

组成码流的结构中，包含了以下几个部分，从大到小依次是：

H264视频序列，图像，片组，片，NALU，宏块，像素

H264功能分为两层：

1.H264视频序列包括一系列的NAL单元，每个NAL单元包含一个RBSP。

2.一个原始的H.264由 N个NALU单元组成

3.NALU单元由[StartCode][NALU Header][NALU Payload]三部分组成

5.NAL Header

由三部分组成forbidden_bit(1bit)(禁止位)，nal_reference_bit(2bits)（优先级,，值越大，该NAL越重要），nal_unit_type(5bits)（类型）

nal_unit_type

6.NAL的解码单元的流程如下

转载请注明：片头模版 » android音视频开发(Android音视频开发)