首先开发实时直播时需要了解哪些知识：

摄像头采集；

1、音视频编解码；

2、流媒体协议；

3、音视频流推送到流媒体服务器；

4、流媒体网络分发；

5、用户播放器；

6、音视频同步；

7、网络延迟自适应；

8、需要录制，多种视频文件的格式和封装；

9、语言：C、C++、html、php、mysql......

10、开发环境：嵌入式，Linux，Windows，Web......

还有就是视频播放解决方案（卡顿、延迟）：

1、CDN 加速；

2、自己架服务器；

3、用别人的云服务。

用 CDN 加速，可以尽量减少延迟。目前业内水准来看，视频延迟都在 3-6 秒之间。也就是在视频直播时，你看到的是几秒以前的画面。

自己架服务器，如果你部署的数据中心不够多，那么遇上跨网、跨省的传输，还是得用 CDN 加速。那么为了尽可能降低延迟，你就需要在全国各省市都部署数据中心，来解决跨网、跨省的传输。这种解决方案，相较 CDN，非常昂贵。

当然，不管用哪种方式，请综合权衡利弊，找到适合自已的方案就是最好的方案。

开发视频直播的流程有哪些：

1、采集；

2、前期处理；

3、编码；

4、传输；

5、解码；

6、渲染。

采集：iOS 是比较简单的，Android 则要做些机型适配工作（声网 Agora.io 目前适配了 4000+Android 机型）。

前期处理：现在直播美颜已经是标配了，80%的主播没有美颜根本没法看。美颜算法需要懂图像处理算法的人，没有好的开源实现，要自己参考论文去研究。算法设计好了还要优化，无论你打算用 CPU 还是 GPU 优化，算法优化本身也需要专业知识支持。GPU 虽然性能好，但是也是有功耗的。GPU 占用太高会导致手机发烫，而手机发烫会导致摄像头采集掉帧，iPhone6 尤其明显。因为 iPhone6 的 CPU 和前置摄像头很近，在算法开发、算法优化、效果平衡上需要大量的开发调试工作。而这一切都是需要经验支撑。

编码：如果你要上 720p，肯定要采用硬编码。软编码 720p 完全没希望，硬件编码不灵活。兼容性也有问题。如何适应纷繁复杂的网络和纷繁复杂的上下行设备？安卓和芯片的坑，开发过的人都知道。那有人问，要求不高，上软编码低分辨率 360p 行不行？就算上低分辨率，软编码还是会让 CPU 发烫，CPU 过热烫到摄像头，长期发烫不仅直接反应是费电。既然是手机直播，插着电源和充电器实在说不过去吧。还有，CPU 发烫会降频，怎么办？这还是只说性能方面。和前处理只影响图像质量和功耗不同，视频编解码技术还关联成本计算和网络对抗。考虑性能、功耗、成本、网络这四个之后你编码的码率、帧率、分辨率。软硬件开发该如何选择？

传输：自己做不现实，交给第三方服务商吧。

解码：如果你用硬解码，一定要做容错处理，一定要做适配。突然一个 crash 导致手机重启不好吧。安卓的硬解码，不说了。如果你加了网络目前手机的硬解码还不一定支撑用软解码，功耗发热的问题又来了。

渲染：为什么手机明明解码出好多帧数据。就是渲染不出来。为什么画面就是不同步。

      以上是媒体模块，还有信令控制，登录、鉴权、权限管理、状态管理等等，各种应用服务，消息推送，聊天，礼物系统，支付系统，运营支持系统，统计系统等。后台还有数据库，缓存，分布式文件存储，消息队列，运维系统。