Apache Kylinについて #hcj2016

1. Apache Kylinについて Hadoop / Spark Conference Japan 2016 http://www.yahoo.co.jp/ ヤフー株式会社古山慎悟 2016年2月8日

5. Apache Kylinについて Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 5 アーキテクチャ強み弱み • OLAPの実行エンジンで、キューブをプレビルドしオンラインのクエリのレイテンシを下げる戦略をとっている • プレビルドしたキューブはHBaseに配置し、クエリの実行時にはプレビルドしたキューブから結果セットを生成する • キューブをプレビルドするので、“BigAccount”的なファクトの多重度の歪みに強い • ディメンションの多重度の歪みに弱い

7. 強み Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 7 • ほとんどのデータはパレート則的にファクトの多重度に歪みをみせる • たとえば、取引をたくさんしてくれている上客(BigAccount)であればあるほどその顧客に関するデータ量が大きくなる • そのユーザーのためのクエリを返すためのワークロードが他の顧客より多いので、そのユーザーにとってのUXが損なわれる • Kylinのアーキテクチャだと、上記のようなファクトの歪みがクエリのレイテンシに影響しない • たとえば、顧客IDに対する集計をプレビルドしておけば、顧客別の集計結果を返すために必要なワークロードはどの顧客でも1件のlookupになる（こともある） • さらに、アプリケーションからは、SQLを介してプレビルドしたキューブが透過的にみえるので、パフォーマンスチューニングのためにデータを再設計する必要がない

8. 弱み • 一方で、ディメンジョンの多重度には弱い • ディメンジョンの多重度:値の種類(ex. 男女) • ファクトの多重度:値の種類ごとのレコード数 • Kylinのアーキテクチャだと、キューブのディメンジョンの組み合わせ数に相当するくらいのキー数のデータにプレビルドする（こともある） • ディメンション表に多重度が多いカラムがあると(100万以上とか)、キューブのビルドが遅くなり、クエリのレイテンシにも悪影響がある • 組み合わせを素直につくらない仕組みや(Aggregation Group)、組み合わせをなるべく減らす仕組み(Mandatory Dimension, Hierarchy Dimension, Derived Dimension)が実装されている • ご参考: http://www.slideshare.net/YangLi43/design-cube-in-apache-kylin • でも辛い Copyright (C) 2016 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 8

Apache Kylinについて #hcj2016

Yahoo!デベロッパーネットワーク

Apache Kylinについて #hcj2016