Using Alluxio to Accelerate Compute Frameworks in JD
•
2 likes•958 views
Beijing Meetup - Jan 2018
More Related Content
What's hot
What's hot (18)
Similar to Using Alluxio to Accelerate Compute Frameworks in JD
Similar to Using Alluxio to Accelerate Compute Frameworks in JD (20)
More from Alluxio, Inc.
More from Alluxio, Inc. (20)
Using Alluxio to Accelerate Compute Frameworks in JD
- 3. 京东介绍1
- 5. 京东大数据平台2
- 6. 京东大数据平台 6 服务器规模30000台+，离线集 群总规模18000+ , 用户6000+ 集群规模 计算能力 离线数据日处理40PB+，日运 行Job数100万+ 存储能力 总数据量400PB+，日增数据 量500TB+ 业务能力 业务主题40+，数据模型450+
- 7. 京东大数据平台 7
- 9. Alluxio介绍3
- 10. Alluxio介绍 Alluxio社区的优势 活跃开源社区 创始人为华人 CI完备 开源是大势所趋。800多Contributor，1723次fork。6000多次PR。社区 Maintainer活跃度高，提出的PR很快就有回复 Alluxio社区的以下优势使得Alluxio越来越多的被很多知名企业所应用，也吸引越来 越多的贡献者。 华人contributor特别多，中文文档资料特别多。加入门槛底，还有新手教 程，对于新contributor非常友好。 alluxio-bot(PR title)、 AmplabJenkins作为PR builder(License headerCheckstylefindbugstest) • Alluxio（之前的Tachyon）。是世界上第一个以内存速度 统一不同存储系统的系统。在大数据生态中，Alluxio位 于计算框架和各种存储系统之间。此外，Alluxio存储为 中心的架构，使数据访问速度的数量级比现有解决方案 快得多。
- 11. Alluxio in JD4
- 12. Alluxio in JD 12 JDPresto提升10倍。 JDPresto Kylin KV on Alluxio Kylin HDFS on Alluxio HDFS Alluxio KV Cache
- 13. JDPresto on Alluxio JDPresto on Alluxio的优势 可插拔 容错 10倍性能 Alluxio可以随时上线或更新，业务感知仅仅是变慢了 JDPresto在使用Alluxio时，自身做了一些改造，使得在使用上增加了一些非常好的 特性。 当Alluxio服务不可用时，JDPresto可以直接访问HDFS 同样的SQL在有Alluxio和无Alluxio的情况下速度相差10倍 • Alluxio作为可插拔的容错组件应用于京东体系内诸多计 算框架。 • 利用Alluxio优秀的缓存能力提供对ADHOC， 实时流计算 天生的支撑，降低集群对于网络消耗的依赖。 • JDPresto on Alluxio已经带来了10倍平均性能提升。 Alluxio作为可插拔的优化组件，当Alluxio服务不可用时， JDPresto可以直接访问HDFS。我们的工作是扩展Alluxio， 增强Alluxio和HDFS的一致性。 • Alluxio已经在我们的生产环境运行1年多了。
- 14. JDPresto on Alluxio 14 Presto HDFS Alluxio Access Alluxio exception Access HDFS directlly Read HDFS Data Cache to Alluxio Read Alluxio
- 20. JDPresto on Alluxio 20 hadoop cluster: X DataSource: 广告集群全天SQL Worker jdpresto on alluxio 22 jdpresto 40
- 22. Kylin KV on Alluxio 22
- 24. JD Contribution 24 PMC 1 Contributor 4 PR 50 Merged PR 47 Merged Commit 218 Additions/Deletions +4150/-2251
- 25. JD Contribution 25 JD Contribution ui-grid based sort/pagnation/filter add an input field New WebUI high watermark start evict low watermark stop evict Watermark evict strategy check startup check every time Consistency monitor jvm pause Periodically log message and metrics Jvm Pause Monitor cp/ls/load/rm/ format Shell Command DeadLock thrift add timeout time … Bug fix Shell RESTfulApi Change Log Level SyncQuery AlluxioTools … Test
- 30. 未来工作 30 01 03 05 07 完善压测工具 02 04 06 稳定性提升 扩展其他框架使用 追踪Alluxio社区PATCH 向Alluxio提交代码 完善监控和预警 可调试支持 fix bug