最近收集了一些关于视频直播的资料,目前主流的技术是上推使用RTMP协议,服务端基于nginxnginx-rtmp-module模块来增加对HLS的支持,下行播放支持RTMP协议和HLS协议。

  • RTMP协议

Real Time Messaging Protocol 是Adobe公司为Flash播放器和服务器之间音、视频及数据传输开发的实时消息传送协议。协议中,视频必须是H264编码,音频必须是AAC或MP3编码,且多以flv格式封包。

  • HLS协议

Http Live Streaming 是由Apple公司定义的基于HTTP的流媒体实时传输协议。它的原理是将整个流分为一个一个小的文件来下载,每次只下载若干个。传输内容包括两部分:一是M3U8描述文件,二是TS媒体文件。TS媒体文件中的视频必须是H264编码,音频必须是AAC或MP3编码。

在客户端上要完成直播视频的采集及RTMP上推,主要需要以下几个步骤:

  1. 音视频的采集;
  2. 对视频进行H264编码,对音频进行AAC编码;
  3. 对编码后的音、视频数据进行FLV封包;
  4. 建立RTMP连接并上推到服务端。

在音视频的采集上,直接使用AVFoundation.frameworkAVCaptureSession即可获得原始的CMSampleBufferRef格式音视频数据。

而在将原始视频编码过程中,有两种方案:一种是利用第三方库FFmpeg 进行编码,一种是利用iOS自身的AVAssetWriterVideoToolBox.frameworkVTCompressionSession进行编码。FFmpeg因其跨平台及功能丰富等诸多优势,被广泛使用。而使用AVAssetWriter编码需要将视频写入本地文件,然后通过实时监听文件内容的改变,读取文件并处理封包。从iOS8开始,VideoToolBox提供了硬件编码支持,可以使用VTCompressionSession进行编码。

相关项目及文档

使用FFmpeg编码:

使用iOS自身编码:

UCloud官博的视频直播技术文章:

VideoCore

VideoCore是一个开源的iOS平台音视频RTMP推流项目。支持实时滤镜效果和水印功能。在视频编码方面,iOS8以下使用AVAssetWriter进行编码:先把数据写入本地临时文件appendPixelBuffer,再读取文件数据fread. iOS8及以上采用了VideoToolBox的硬编码:VTCompressionSessionCreate创建session,当pushBuffer数据来时,调用VTCompressionSessionEncodeFrame压缩数据。

推流的初始化过程如下,查看大图

预览界面的初始化过程如下,查看大图

水印和滤镜特效的初始化过程如下,查看大图

音视频的编码过程如下图所示,查看大图

相关类的类图如下,查看大图