Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

5. Apache Kylin的金融大数据应用场景 - Apache Kylin Meetup @Shanghai

3,142 views

Published on

Apache Kylin的金融大数据应用场景 - Apache Kylin Meetup @Shanghai

Published in: Software
  • Be the first to comment

5. Apache Kylin的金融大数据应用场景 - Apache Kylin Meetup @Shanghai

  1. 1. Kylin的金融大数据应用场景 黄桦(Huang,  Hua)@明略数据
  2. 2. 目 录 Agenda 01  明略数据简介 02  金融行业的大数据现状 03  Kylin的典型应用场景
  3. 3. 明略数据简介 02  金融行业的大数据现状 03  Kylin的典型应用场景
  4. 4. 中国领先的第三方广告 技术公司 秒针系统 独立的大数据部门 成立单独的公司“明略数据”,专注企 业级大数据解决方案 明略历史 2006 2011 2014 • 中国领先的大数据整体解决方案提供商 • 拥有自主知识产权的核心产品,如BDP,Discovery,DataInsight,Scopa • 客户遍布金融、电商、政府和传媒等行业
  5. 5. 明略理念 帮助客户快速、高效地存储各类数据 以及从这些数据中获取信息和价值 大数据的完整价值需要专业的数据科学家 通过数据建模,分析和挖掘方能获取 大数据的核心价值在于分析、 发掘数据的内在价值 数据科学家是大数据项目成功 的关键 另外,我们求贤若渴…… http://www.mininglamp.com/joinus.html
  6. 6. 金融行业的大数据现状 01  明略数据简介 03  Kylin的典型应用场景 明略数据携手第一财经,发布中国大数据应用前沿 调研报告,详见: http://www.mininglamp.com/2015ChinaBigData/20 15ChinaBigDataReport.pdf
  7. 7. 大数据投资结构 全行业里:互联网最多,电信其次,金 融第三 按金融行业分:银行最多,证券其次, 保险第三
  8. 8. 金融大数据的应用现状 前三大类别: • 精确发现客户需求,定制产品(21.10%) • 整合线上线下渠道(17.43%) • 完善客户服务(16.51%) 进一步的,我们也发现: • 金融企业会利用大数据对客户进行多维度 的细分,提供差异化的产品服务 • 金融企业也会打通线上线下数据,利用大 数据技术达成线上线下的整合营销以创造 价值。
  9. 9. 金融大数据的具体应用 金融机构所关注的大数据主要应用包括: • 风险管控(17.12%) • 精准营销(16.22%) • 数据监控(14.41%) • 数据交易(11.71%) 而未来打算的大数据应用方向包括: • 运营优化(23.66%) • 以客户为中心(21.51%) • 产品服务创新(18.28%)
  10. 10. 金融大数据的能力需求 金融机构看重大数据的社会价值,如数据背后 隐藏的规律、相关关系等: • 数据挖掘(22.77%) • 关联分析(21.78%) 同时,报表和数据可视化仍然有很强的需求: • 查询和报告(19.8%) • 数据可视化(16.83%)
  11. 11. Kylin的典型应用场景 01  明略数据简介 02  金融行业的大数据现状
  12. 12. 典型的应用 报表类应用 OLAP探索类应用 查询类应用
  13. 13. 报表类应用 金融机构有很多固定报表的场景,基于传统的数据仓库方法有如下缺陷: • 数据量不断增长导致查询性能下降 • 超大数据集的报表计算非常耗资源和时间 • 系统扩容成本较高,除去软件成本,还有配套的硬件成本 基于Kylin可以很好的满足需求: • 借助Hive  SQL进行报表数据的分布式计算,生成Hive结果表 • 每一张Hive结果表包含一个或多个报表的数据,利用Kylin生成好cube • 通过Kylin JDBC访问cube实时获取报表数据,在前端页面通过JS渲染出图
  14. 14. OLAP探索类应用 通过大数据平台,打通金融机构各系统数据,如交易流水,信用卡,理财,贷款等系统 采用主题的方式预建cube满足数据探索类的需求 • 整合OLAP  Server,如Mondrian(社 区已经有解决办法) • 通过OLAP  Server定义和管理各主题 的cube • 对接可视化展示工具,如Saiku • 整套方案的技术栈为 Saiku+Mondrian+Kylin
  15. 15. 查询类应用 金融机构拥有海量的客户(或卡号),各类基于用户的应用(用户画像,精准营销等)往往有查询类 的需求: • 根据系统+客户,查询客户画像结果 • 根据系统+时间+客户,查询客户交易流水 • …… 基于Kylin可以很好的满足需求: • 对每类查询,建立对应的cube,也就是“少维度,多指标”的cube • 尽可能将多个查询对应到一个cube,即适当增加该cube维度,以减少总cube的个数 • 利用HBase的NoSQL特性和水平扩展的能力,以应对海量数据的查询 • 每次查询转换为一个基于Kylin的SQL查询,通过Kylin JDBC访问Kylin获取指标数据
  16. 16. 扫描关注明略数据 THANKS

×