Download as PDF, PPTX
![LLAPの今後
実際にLLAPを使おうと思った際に課題として上がった点
• バグ周り
• 出来たばかりの機能なのでこれから使われると色々出てくるかも
• 最近もデッドロックするバグがあった[HIVE-12904]
• セキュリティ周り
• Kerberosには対応
• キャッシュされたデータの扱い
• HS2からの接続(Daemonの実行ユーザとDoAsの設定)
• Cacheの洗練, Locality
• HDFS Localityは考慮してくれる
• cache現状では個々のNodeが個別に持っている
• どこのノードがどのデータをキャッシュしてるかの考慮はなし
• そもそもDaemonが立ち上がってるNodeにデータがない場合
• Cacheアルゴリズムは適切か？
• タスクリストやWIPは[HIVE-7926]](https://image.slidesharecdn.com/hcj-160210013922/85/Hive-LLAP-37-320.jpg)
Uploaded byYahoo!デベロッパーネットワーク
Hiveを高速化するLLAP
Hadoop/Spark Conference Japan 2016( http://hcj2016.eventbrite.com )で発表した資料
![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](https://cdn.slidesharecdn.com/ss_thumbnails/amazonauroratips-170307140000-thumbnail.jpg?width=640&height=640&fit=bounds)
![[GKE & Spanner 勉強会] GKE 入門](https://cdn.slidesharecdn.com/ss_thumbnails/gke01-200121090059-thumbnail.jpg?width=640&height=640&fit=bounds)
Hiveを高速化するLLAP
- 1.
- 2. About me • 小澤祐也( @__john_smith__ ) • ヤフー株式会社 • データ&サイエンスソリューション統括本部 • データインフラ本部 開発2部 OSS開発 ←平常時の自己紹介
- 3. アジェンダ Hiveの復習 – MR, Tez,Spark – Hiveの限界 LLAP(Live Long and Process)の紹介 – LLAPとは – LLAPの特徴と動作 – LLAP vs Spark SQL – 実行速度 LLAPの今後
- 4. アジェンダ Hiveの復習 – MR, Tez,Spark – Hiveの限界 LLAP(Live Long and Process)の紹介 – LLAPとは – LLAPの特徴と動作 – LLAP vs Spark SQL – 実行速度 LLAPの今後
- 5.
- 6. Hiveの実行エンジン • MapReduce • 今でもこれを想定する人は多い •YARN時代においてはHadoop1系に名残と言ってもよい • Tez • Sparkのライバル的存在として語られることも多い • YARNでしかうごかないがHiveやPigの実行エンジンとして欠かせ ない • Spark • Hive on Spark • Not Spark SQL • かつてSharkというものもあった…
- 7. Hiveの限界 • インタラクティブな処理には使えない • SQLlikeな記述でMRジョブを実行するために作られた • レイテンシ < スループットな設計 • インタラクティブを求めるなら別なアーキテクチャを選択すべき？ • HiveはETLまで、分析はR, Python, Sparkなどを使う • 元データが大きすぎる場合など • とはいえデータの切り出し方は試行錯誤したいので高速化されると便利
- 8. Hiveの限界 とはいえ最近のHiveは速い • 魔法のおまじない(※違います) • SEThive.execution.engine=tez; • カラムナ型のファイルフォーマットをサポート • ORC(やParquet) • 必要なDisk I/Oが減らせる • CBO(Cost Based Optimizer) • データの統計情報を使ったオプティマイザ • ルールベースより効率の良い最適化がされること請け合い • Vectorization • SIMD命令を利用した一括処理
- 9. アジェンダ Hiveの復習 – MR, Tez,Spark – Hiveの限界 LLAP(Live Long and Process)の紹介 – LLAPとは – LLAPの特徴と動作 – LLAP vs Spark SQL – 実行速度 LLAPの今後
- 10. LLAPとは バッチ処理では速くなったHiveをさらに高速化したい • 扱えるデータ量はそのままよりインタラクティブに！ Hive2.0からの新機能 LLAPの基本的な思想 • Daemon •Cache • Multi Thread, Pipeline
- 11.
- 12.
- 13. Daemon • Daemonの立ち上げによる起動コストの削減 • Containerの立ち上げにはJVM起動などのコストがかかる •Daemon化にはApache Sliderを利用 • Hadoop上でDaemonとして起動し任意のプロセスを走らせる • StormやMemcachedなどサンプル有 • 起動コンテナ数を動的に変更可能 • Pigと同じくらい検索しづらい
- 14. Hybridな環境の実現 • TezのVertexをDaemon化するのがLLAP • LLAP自体は実行エンジンではない •Resource Manager上でもDaemonとジョブは別なものとして動 作 • LLAPの発想自体は他の実行エンジンでも実現可能 • TEZ-2003 • Vertexの一部にTezコンテナの外部サービスを利用 • Daemonとして立ち上げておいたコンテナを利用 • この仕組みを利用しているため現在はTezのみに対応 • Vertexの一部または全部の実行NodeでLLAPを利用 • Hiveのジョブ自体はLLAPの有無には依存しない • 必要に応じて通常のcontainerかllapかは選択可能
- 15. LLAPとmode LLAPによって新たに加わるmodeという概念 • 特定のVertexがどちらのmodeで動いているか • TezのジョブをCLIが視覚的にわかりやすい •modeという項目にcontainer/llapのどちらかが記載されている • DAG中のどのVertexにLLAPを使うか • hive.llap.execution.modeで設定されるmode • LLAP deamonで動くVertex, Tezコンテナで動くVertexの設定 • none/map/auto/allがある
- 16. ModeとDaemon M M R none LLAPを使わない Tezのみと同じ MM R map Mapタスクのみで LLAPを使う M M R all すべてLLAPを利用 M M R auto Hiveの実行計画に 任せる
- 17. ModeとDaemon M M R none LLAPを使わない Tezのみと同じ MM R map Mapタスクのみで LLAPを使う M M R all すべてLLAPを利用 M M R auto Hiveの実行計画に 任せる none/map/all/auto DAG中のどのVertexに LLAPを使うかの設定
- 18. ModeとDaemon M M R none LLAPを使わない Tezのみと同じ MM R map Mapタスクのみで LLAPを使う M M R all すべてLLAPを利用 M M R auto Hiveの実行計画に 任せる container/llap 各Vertexがどちらの modeで動いているか
- 19. ModeとDaemon M M R none LLAPを使わない Tezのみと同じ MM R map Mapタスクのみで LLAPを使う M M R all すべてLLAPを利用 M M R auto Hiveの実行計画に 任せる
- 20.
- 21.
- 22. Cache LLAPのDaemon内でデータをcacheする • Columnar cache •In-memoryなcache機能 • データを行単位ではなく列単位でキャッシュ • ORCファイルにのみ対応 • Columnar型のデータフォーマット • インデックスを利用し必要な部分のみをキャッシュ
- 23. Cache LLAPのDaemon内でデータをcacheする • キャッシュアルゴリズム • FIFO,LRFU • DaemonのNodeごとにcacheを持つ • 中央集権的な仕組みはない • Node間での共有は行わない • Off-Heapの利用
- 24.
- 25.
- 26. Multi Thread, Pipeline LLAPのDaemon内で複数のスレッドを起動 •各スレッドがExecutorとして処理を実行 • 1デーモンあたりで複数の処理を実行可能 • Node数 * Executor数が実際に実行できる処理の並列数 • Queue • 一般的な実行待ち行列に対する扱い • 実行可能になったExecutorにアサインされる • Preemption • 長時間動きがない処理は一度諦める • Executorにアサインされたがなんらかの理由で処理を続けられないなど
- 27. Multi Thread, Pipeline Container LLAPDaemon Executor Queue Map 1 Query Fragment Query Fragment Executor Reduce 3 Query Fragment Query Fragment Map 2 Query Fragment Query Fragment Map 0 … Reduce 9 …
- 28. Multi Thread, Pipeline Container LLAPDaemon Executor Queue Map 1 Query Fragment Query Fragment Executor Reduce 3 Query Fragment Query Fragment Map 2 Query Fragment Query Fragment Map 0 … Reduce 9 … 一つのDaemonに 複数のThread
- 29. Multi Thread, Pipeline Container LLAPDaemon Executor QueueExecutor Reduce 3 Query Fragment Query Fragment Map 2 Query Fragment Query Fragment Map 0 … Reduce 9 … Queueにある 次の処理を実行
- 30. Multi Thread, Pipeline Container LLAPDaemon Executor Queue Map 1 Query Fragment Query Fragment Executor Reduce 3 Query Fragment Query Fragment Map 2 Query Fragment Query Fragment Map 0 … Reduce 9 … Preemptionによって 次の処理が先に実行され る ×
- 31.
- 32. LLAP vs SparkSQL • LLAP固有の概念 • Daemon内共通で使えるcacheはSparkにはない • Tez vs Spark • データがメモリに乗り切らない場合はTezが有利 • 既存の資産の活用 • クエリの互換性 • HQLはSQL LikeだがSQLではない • 分析環境への繋ぎこみではSparkが有利 • SQLだけではETL以上の処理をやるのは難しい • R, Pythonでの分析環境との連携 • DataFrameAPIやMLlib, GraphX • ストリーム処理 • Spark Streaming • HiveもACIDやトランザクションに対応はしてる
- 33. LLAPの実行速度 • Hive onTezとLLAPの速度比較 • LLAPを使うとどれくらい速くなるのか • 3回同じ処理を実行しての平均速度 • 各クエリはシーケンシャルに実行 • 設定の変更などはなし
- 34.
- 35. LLAPの実行速度 • その他、様々な条件でのパフォーマンステストを現在実施中 • Daemon数 •並列数 • 各種設定の変更による影響 • キャッシュヒットの有無による影響 • クエリごとの性質に依存した影響 • etc.
- 36. アジェンダ Hiveの復習 – MR, Tez,Spark – Hiveの限界 LLAP(Live Long and Process)の紹介 – LLAPとは – LLAPの特徴と動作 – LLAP vs Spark SQL – 実行速度 LLAPの今後
- 37. LLAPの今後 実際にLLAPを使おうと思った際に課題として上がった点 • バグ周り • 出来たばかりの機能なのでこれから使われると色々出てくるかも •最近もデッドロックするバグがあった[HIVE-12904] • セキュリティ周り • Kerberosには対応 • キャッシュされたデータの扱い • HS2からの接続(Daemonの実行ユーザとDoAsの設定) • Cacheの洗練, Locality • HDFS Localityは考慮してくれる • cache現状では個々のNodeが個別に持っている • どこのノードがどのデータをキャッシュしてるかの考慮はなし • そもそもDaemonが立ち上がってるNodeにデータがない場合 • Cacheアルゴリズムは適切か？ • タスクリストやWIPは[HIVE-7926]