Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

短视频和云存储

386 views

Published on

短视频和云存储

Published in: Internet
  • Be the first to comment

短视频和云存储

  1. 1. 短视频与云存储 李道兵 <lidaobing@qiniu.com> 七牛云存储
  2. 2. Outline • 短视频行业的痛点 • 云存储行业如何解决这些痛点 • 数据在这个时代的意义
  3. 3. 2014: 短视频爆发年 • 美拍 • GIF 快手 • 逗拍 • 微信视频 • 小偶 • 玩拍 • 微拍 • 秒拍 • 小看 • 小影 • 乐秀 • 美视 • 多拍 • 优酷美点 • 爱拍 • 趣拍
  4. 4. 为什么? • 带宽 – 移动 4G 开始推广,直接把一半多的手机用户 从 2G 时代拉到了 4G 时代 – 手机流量包增加 : 现在手机普遍月流量在 1GB 以上, 3GB 以上的也不罕见 – 家用带宽的增加, 10Mb ~ 100Mb 成为家用带 宽的主流
  5. 5. 为什么? • 娱乐为王的时代已经来临 – 硬件的革新 : 从照相机,到数码相机,到手机拍照 ,再到手机视频,手机像素增多,质量变高,减少 了从拍摄到分享的时间,提高了体验 – 产品的革新 : 模板,配乐,大头,。。。 – 从论坛到微博和微信的社交模式的转变 • 实名社交和熟人社交:可以跟你的朋友分享你的成果和 感受,享受你跟朋友的互动 • 传播效应更显著、且质量与转发量成正相关,让大家努 力创作高质量内容,且高转发下有更高的荣誉感
  6. 6. 短视频产品的痛点 • 疯狂增长 – 如果你对产品打磨得足够好,那么用户使用量 会疯狂增长,比如逗拍上线几天后就成为 iOS 免费榜第一名 – 疯狂增长会给你的全线带来压力,数据库,缓 存,业务逻辑,存储,上传,分发都会受到很 大的冲击
  7. 7. 短视频的痛点 • 有压力,常规的服务如何解决? – 数据库 : 尽量使用 SSD 硬盘,增大数据库处理 能力 – 缓存层 : memcache 或者 redis ,水平扩张 – 业务层 : 消除服务状态,然后水平扩张 – 接入层 : nginx/tengine ,水平扩张,用 heartbeat 或者 LVS 来做高可用 – 网络 : 尽量使用 BGP 机房,如果只走元数据, 那么流量成本还可以接受 • 麻烦的是数据的部分
  8. 8. 短视频产品的痛点 • 上传 – 短视频上传大部分都是移动端,网络不稳定, 10s 的视频需要 1M 以上, 60s 的需要 6M 以 上,一次性上传成功率很低,最好能设计一个 分片 – 不使用分片上传 1M 文件的失败已经很高了, 6M 或者更大的图片失败率就会上升到很难接 受的水平。 – 如何设计一个好的分片上传方法会成为一个难 点
  9. 9. 短视频产品的痛点 • 上传 – 网络覆盖问题:数据放在高规格 BGP 机房是 一个不划算的事情,那么如何保证每个客户都 能得到一个很好的上传体验呢? – 域名劫持问题 : 这个比较简单,准备多套上传 域名或者直接通过 IP 来上传都是很好的应对方 式
  10. 10. 短视频产品的痛点 • 存储 – 我用什么存储软件? mogilefs 还是 fastdfs, 我的团队是否有足够的经验来运维它? – 我需要准备多大的存储?如果要支持 1PB 就需 要 70 台 2U12 盘的存储机(按 3 份冗余计算 ) – 我的运维团队是否准备好了?流量冲击,磁盘 损坏,机器当机,交换机故障,。。。
  11. 11. 短视频的痛点 • 数据处理集群 – 截图:短视频截一个图作为封面 – 水印:图片和视频都要水印,在服务器打水印 还是在客户端打好传上来 – 审查 : 审查一般外包给第三方,发送原始视频 会占用大量带宽,导致审查效率下降,是否先 把视频裁剪后再来审查? – 流式播放 : 如果视频比较长,直接播放的效果 不太好,是否要用 HLS 模式来播放?
  12. 12. 短视频的痛点 • 如果需要一个处理集群?什么架构?多大 容量?如何快速扩容?如何避免有人利用 CVE 构造有问题的视频来入侵?
  13. 13. 短视频的痛点 • 分发 – 挑选哪家 CDN ? • 有没有独立的多媒体平台? • 是否支持 mp4 拖拽? • 是否存在多次回源,到我的机房是否有连通性问题 ? • 大文件回源是不是有优化? • 小运营商覆盖情况如何?
  14. 14. 总结 • 传统架构的瓶颈常在数据库,但随着 SSD 的 广泛应用,数据库的处理能力已经提升了 2-3 个数量级,架构瓶颈反而容易出在数据存储层 面 • 数据上传 – 如何设计分片?如何保证网络覆盖?如何降低流量 成本?如何防止 DNS 劫持? • 数据存储 – 使用何种存储技术?如何避免一次性投入过高?如 何运维大规模集群?
  15. 15. 总结 • 数据处理 – 如何设计处理集群?如何避免高峰冲击?如何 降低处理成本? • 数据分发 – 如何拿到好的 CDN 节点?如何防止域名劫持 ? • 其实不是说以上问题研发团队都没法解决 ,更多的情况是在急剧增长的情况下,你 不舍得把你最好的技术人员放在这上边
  16. 16. 云存储行业能帮上什么忙? • 数据上传 – 如何设计分片?如何保证网络覆盖?如何降低 流量成本? • 分片 : 很多云存储都支持 • 网络覆盖 : 上传节点很多,覆盖面广 • 降低流量成本 : 经常是免费
  17. 17. 云存储行业能帮上什么忙? • 数据存储 – 使用何种存储技术?如何避免一次性投入过高 ?如何运维大规模集群? • 使用云存储后这些都不用担心了, yeah
  18. 18. 云存储行业能帮上什么忙? • 数据处理 – 如何设计处理集群?如何避免高峰冲击?如何降低 处理成本?如何避免安全漏洞? • 很多云存储都提供音视频处理服务,而且由于 云存储本身处理容量大,你的峰值冲击对他们 就很小了 • 而且云存储供应商有独立的安全团队来做安全 保障 • 音视频转码一般按使用量来付费,通常成本比 自建便宜,毕竟云提供商的机器利用率更高。
  19. 19. 云存储行业能帮上什么忙? • 审查 – 我们就帮客户设计过审查用的转码 : 双倍速, 分辨率 150x150, 去掉声音,降低码率, 10s 的视频只需 40KB 左右 – 审查员一个网页上可以放多个视频,一起播放 ,大幅度提高了审查速度 – 降低码率之后审查所需的带宽也大幅度下降, 审查网页更流畅,唐马儒表示审查体验大幅度 提高
  20. 20. 云存储行业能帮上什么忙? • 数据分发 – 如何选择好的 CDN ?如何防止域名劫持? • 云存储 – 帮你挑选 CDN – 智能调度优化 CDN ,避免 CDN 故障时服务不 可用 – 多域名甚至 IP 下载来避免域名劫持
  21. 21. 总结 • 云存储的发展已经足够成熟,围绕数据的 大部分需求都能够解决。 • 一个好的云存储供应商更会针对客户的需 求,来帮助客户设计解决方案,一起来把 问题解决掉
  22. 22. 数据的意义 • 短视频这波风潮的兴起可以说恰好赶在了 移动、宽带、娱乐的风口上,也可以说是 必然的 • 带宽的持续提升正在改变我们的沟通方式 – 从文字到图片,到声音,再到视频,随着技术 的进步,也许会有更多的沟通形式出现,比如 全息投影或者虚拟世界 – 新的沟通方式会催生很多新的产品出现
  23. 23. 数据的意义 • 我们每个人产生数据的能力越来越强 – 每天你拍的照片、录的视频 – 每天你访问了哪些网站?去了哪些地方? – 每天你的身体状况 ( 智能穿戴设备 ) ,你的车 辆状况,你的房间的温度湿度,监控探头 – 还有大量的第三方摄像头在看着你? • 这些数据能变成价值么?我不知道未来会 怎样?但我对答案很乐观。
  24. 24. 数据的意义 • Google 的出现把互联网成功从 1.0 升级 到 2.0 – 收集网页变成搜索功能来满足用户 – 收集用户的搜索和访问行为变成广告投放引擎 来满足客户 – 这些都是数据价值的体现 – 值多少: 3000 多亿美金
  25. 25. 数据的意义 • 未来的世界,数据越来越重要 – 你能不能贷款买房,决定的不是你的客户经理 ,而是背后的数据 – 你获取用户的能力,不再仅仅决定于你的智慧 和直觉,而更多是你的数据挖掘能力 – 你的公司的盈利提升,也将更多取决于你的在 数据上能挖掘得多深。
  26. 26. 此处是广告 • 七牛的目标是做成为一站式数据平台,帮 助我们的客户更好地解决他们的数据收集 、存放、处理、分析、分发的任务。 • 如果你认同数据的价值,认同七牛的理念 ,请联系我们,我们正在招人 hr@qiniu.com

×