移动互联网上的
微酷首席架构师 赵志猛
于我
2000-2006



2006-2011



2011.5.
内容

与互联网的不同

挑战与应对

IRISTM 引擎

微酷
与互联网的不同
什么是视频处理


视频处理就是对源视频做转码、剪辑、滤镜和

特效、轨间合成等操作,从而增强视频内容的
可观赏性。
互联网的视频处理与分发

                                   CDN
Upload Servers
             Transcoding Servers


                  视频处理
特点
       互联网

DV拍摄、PC编辑和上传

多   码率支持

CDN分发

PC观看
移动互联网

                                   CDN
Upload Servers
             Transcoding Servers
特点
       互联网          移动互联网

               移动端随时随地拍摄、处
DV拍摄、PC编辑和上传
               理和上传
多   码率支持       ??

CDN分发          CDN分发

PC观看           移动端随时随地观看
产品            视频码率@分辨率
       3.5~5Mbps@3072p, 3~4.3Mbps@1080p,
        2~2.9Mbps@720p, 0.8~1Mbps@480p,
                 0.5Mbps@360p

     1Mbps@622p, 500Kbps@378p, 300Kbps@288p

     2Mbps@720p, 500Kbps@360p, 300Kbps@256p

          1500Kbps@576p, 600Kbps@480p,
           300Kbps@320p, 180Kbps@240p

         上行1.4Mbps,分发800Kbps@360p

     上行2.8Mbps,分发2.8Mbps或800Kbps@480p


          上行512Kbps,分发512Kbps@360p
不同点比较
        互联网      移动互联网
拍摄     DV、摄像机等   手机、平板
视频处理    PC软件     移动应用
网络      有线宽带      3G
码率     多码率适配     单一码率
观看       PC      手机、平板
消费特点    连续时间     碎片化时间
时效性     有延迟      随时随地
移动视频面临的新问题

移动终端上做视频处理

3G网络上传和观看

分发要即时

内容更纷杂
挑战与应对
目标
视频处理方面

 实时拍摄、文件导入剪辑、实时 染和预览

 >=360p、>=15fps、主观画质不能明显失真

 全平台可播放:MP4 + AAC + AVC

内容分发方面

 上传要快,分发要及时

 要省3G流量,观看要流畅
性能
电量限制

 要想办法缩短视频处理的过程

计算性能限制:15fps时要求66ms内完成拍摄/
解码、特效、实时编码、文件IO所有工作

  拍
       12     特    12
          3           3   编码
  解
       缓冲队列        缓冲队列
性能
CPU资源宝贵

    要尽量    掘编解码硬件、采用GPU做特效              染

各    资源的分配        销很大

    要   用资源,做资源池,如VideoFramePool、
    AudioFramePool、VideoTexturePool、ShaderPool
    等等
动态帧率


移动设备拍摄一定会出动态帧率

解码时无法准    计算最后一帧的位置或时间

 要做解码预测
编解码格式

音频:AMR、AAC

  Android 2.2以前只能录AMR

  iOS4以后不支持AMR

视频:AVC BaselineProfile、AVC MainProfile

  部分Android机器不支持AVC MainProfile
文件格式

         Format MOV    3GP(*) flv/f4v mp4(*)
Player
  iOS Native     YES    YES     -     YES

Android Native    -     YES    YES    YES

    Flash         -     YES    YES    YES

   3GP格式逐渐不被支持
   HTML5    YES         YES     -     YES
   iOS生成的mp4文件metadata在最后,部分Android设
   备不能播,flash如果要播则需要完全加载完文件才
3G网络

带宽不稳定、流量资费高

 优化编码参数,降低视频上传码率

 实现边播边存策略,          少二次观看流量

码率@分辨率的选择

 W x H x (3∼6)bps
突发热点
上传量远超平时负载,分发实时性要求更高

 在移动端按分发标准编码视频,去除服务器端的
 转码步骤,避免排队

 封装上传服务,做到可快速弹性云部署

 完善上传调度服务,可按用户的IP、位置和网络
 类型做指向型调度

 做区域型热点监控与预警,提高响应速度
内容发现

移动UGC视频更加纷杂,用户难于发现好内容

移动终端屏幕小,可展示的内容有限



 以标签聚合内容

 用户上传视频时做好标签选择引导,推荐流行的
 标签和用户常用的标签
视频




     欢
 喜           订阅
                        标签   相
                              似
             使用                   度

好友                           推
                  相似度                 标签


             订阅                   度
                                 似
                        标签   相
             使用
         喜
         欢




             视频
IRIS TM引擎


Interactive Rendering Integrated System
Timeline Manager
                   Preview




          Decode   Render    Encode
 Input                                Output
          Engine   Engine    Engine




                    Effect
                   Manager
技术    编解码       染      拍摄   后期制作
                                      视频剪辑
          硬件
 iOS            硬件     GPU实时特效   实时    特效
          CPU
          GPU                          混音

          硬件                           字幕
                硬件解
Android    CPU CPU编    GPU实时特效   实时    发中
           GPU
           Flash
 Web             GPU    GPU实时    实时   同iOS
          HTML5

Server    CPU   CPU    CPU超实时    无     无
iOS模块实现框图
TimelineManager     ScreenRenderObj     ThreadManager

CaptureManager
                     RenderEngine       EncodeEngine
 DecodeEngine

 AudioDecoder     VideoDecoder      EffectManager

VideoFramePool
                          ShaderPool    VideoTexturePool
     AudioFramePool

        MMFoundation         MMDataStructure
微酷
微酷

微视频

 目前专注于30秒内的UGC移动微视频


视频社区

 移动互联网微视频分享社区


视频流
特点

所见即所得的视频处理体验

512Kbps码率,接近专业标清画质

流畅的3G网络视频上传与观看体验

以话题、地点等聚合视频

基于用户   趣的个性推荐
Q&A

               微酷
          捕捉精彩 瞬间分享

主页:http://vku.sdo.com
邮件:vku@snda.com
微博:@vku微酷       http://weibo.com/vkuvku
移动互联网上的微视频处理与分发

移动互联网上的微视频处理与分发