Recommended
More Related Content
What's hot
What's hot (20)
Similar to Dmm bigdata techplay_20190425
Similar to Dmm bigdata techplay_20190425 (20)
Recently uploaded
Dmm bigdata techplay_20190425
- 5. DMMグループと ビッグデータ部紹介 Copyright © since 1998 DMM All Rights Reserved. 5
- 6. DMMグループ 6 DMM.com Group は、オンラインゲームや動画配信をはじめとした総合エンタメサイトの提供を行っています。 他にもスマートフォンアプリサービスや人材育成事業といった様々な分野の事業・活動に取り組んでいます。 株式会社インフラトップ プログラミング教育事業 人材関連事業 株式会社終活ねっと 終活向けサービスの運営 株式会社AQUIZ 自分の好きなモノや 詳しいコトに関するクイズを作成し、 お金に変えることができる Webサイト 株式会社DGホールディングス グループ各社の計数管理、M&A検 討や経理業務を担当
- 8. これまでのビッグデータ基盤 8 オンプレ Hadoopクラスタ （CDH ver 5.10.0） ・・・ ・・・ HDFS YARN Sqoop/Spark etc Presto Digdag Redash Hive ETL実行 他システム DMMサイト 行動ログ Tracking API Aerospike RabbitMQ /Consumer Sqoop データ取込 本日主に話すところ レコメンド ※他チーム管轄
- 9. データドリブン実現へ向けて 課題と対応 Copyright © since 1998 DMM All Rights Reserved. 9
- 11. 想定される課題 11 部署毎のデータアクセス制御 同一テーブル内で管理しているデータを レコード単位で閲覧制限する必要が出てきた クエリ実行数が急増 オンプレprestoのみで捌くには限界がある
- 14. データ基盤移行 CDH→HDP Copyright © since 1998 DMM All Rights Reserved. 14
- 15. 15 CDHとは？HDPとは？ HadoopとHadoopエコシステム(Hive, Sqoop等) を含むソフトウェアディストリビューション CDH：Cloudera's Distribution including Apache Hadoop Cloudera社の製品 HDP：Hortonworks Data Platform Hortonworks社の製品 2019年1月に合併されました
- 16. CDHクラスタ（移行前） 16 オンプレ Hadoopクラスタ （CDH ver 5.10.0） Presto (var 0.182) Digdag (var 0.9.24) Redash DMMサイト 行動ログ 他システム 各種データ DataNode：10台 HDFS容量：1400TB レコメンド ※他チーム管轄
- 19. 移行計画 19 オンプレ Hadoopクラスタ （CDH ver 5.10.0） Presto Digdag Redash 1. 現行のCDHクラスタからDataNode3台間引いてHDP環境構築 Hadoopクラスタ （HDP ver 2.6.5） レコメンド ※他チーム管轄 DMMサイト 行動ログ 他システム 各種データ
- 20. 移行計画 20 オンプレ Hadoopクラスタ （CDH ver 5.10.0） Presto Digdag Redash DMMサイト 行動ログ 他システム 各種データ Hadoopクラスタ （HDP ver 2.6.5） 並行稼働開始までは distcpでデータ同期 レコメンド ※他チーム管轄 2. ETL並行稼動＆DataNode付替え＆ツールの接続先切替え を順次実施 Presto
- 21. 移行計画 21 オンプレ Hadoopクラスタ （CDH ver 5.10.0） Presto Digdag Redash DMMサイト 行動ログ 他システム 各種データ Hadoopクラスタ （HDP ver 2.6.5） レコメンド ※他チーム管轄 3. CDHクラスタ停止＆DataNode全てをHDP環境へ追加
- 22. CDHとHDPのバージョン比較 22 コンポーネント CDH 5.10.0 HDP 2.6.5 Hadoop 2.6.0 2.7.3 Hive 1.1.0 1.2.1 Tez ☓ 0.7.0 Ranger ☓ 0.7.0 Sqoop 1.4.6 1.4.6 ZooKeeper 3.4.5 3.4.6 Oozie 4.1.0 4.2.0
- 23. データ基盤移行 ハマったこと&得られた知見 Copyright © since 1998 DMM All Rights Reserved. 23
- 24. HDP移行でのハマりポイント 24 1. ETLの集計クエリが失敗 2. ETL処理遅延が発生 3. Presto経由で参照不可なテーブル
- 26. 予約語であるカラム名のテーブルが存在していた 26 例） SELECT user -- 予約語 FROM a org.apache.hive.service.cli.HiveSQLExcepti on: Error while compiling statement: FAILED: ParseException line 2:0 Failed to recognize predicate 'user'. Failed rule: 'identifier' in table or column ide...
- 27. 27 クエリ内の予約語をバッククォート(`)で囲む 例） SELECT `user` -- 予約語 FROM a hiveのバージョン別予約語一覧 ：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL#LanguageManualDDL-ReservedKeywords hive.support.sql11.reserved.keywords=false を設定してもよい 予約語であるカラム名のテーブルが存在していた
- 28. 28 データ型が異なるカラム同士でUnionしていた 例） SELECT IF(int_column=0, '', int_column) AS int_column -- 結果が1 FROM a UNION ALL SELECT IF(int_column=0, '', int_column) AS int_column -- 結果が'' FROM b org.apache.hive.service.cli.HiveSQLExce ption: Error while compiling statement: FAILED: SemanticException Schema of both sides of union should match: Column int_column is of type int on first table and type string on second table. Cannot tell the position of null AST.
- 29. 29 1. ETLの集計クエリが失敗 結合カラムのデータ型不整合が起こらない書き方へ 例） SELECT IF(int_column=0, NULL, int_column) AS int_column -- 結果が1 FROM a UNION ALL SELECT IF(int_column=0, NULL, int_column) AS int_column -- 結果がNULL FROM b
- 31. 31 TezでSELECT INSERTする際、 hive.merge.mapfiles=trueが効かない場合がある スモールファイルで構成されているテーブルが存在した --hiveconf hive.merge.mapfiles=true --hiveconf hive.merge.mapredfiles=true --hiveconf hive.merge.size.per.task=256000000 --hiveconf hive.merge.smallfiles.avgsize=32000000
- 32. 32 Tezのファイルマージオプションを有効にする --hiveconf hive.merge.mapfiles=true --hiveconf hive.merge.tezfiles=true --hiveconf hive.merge.mapredfiles=true --hiveconf hive.merge.size.per.task=256000000 --hiveconf hive.merge.smallfiles.avgsize=32000000 スモールファイルで構成されているテーブルが存在した
- 37. クエリ実行エンジンがMRからTezになった 37 例） INSERT OVERWRITE TABLE bd_name.table_name SELECT id, name FROM a UNION ALL SELECT id, name FROM b
- 39. クエリ実行エンジンがMRからTezになった 39 例） WITH target AS ( SELECT id, name FROM a UNION ALL SELECT id, name FROM b ) INSERT OVERWRITE TABLE bd_name.table_name SELECT id, name FROM target
- 40. Athena移行 Copyright © since 1998 DMM All Rights Reserved. 40
- 41. AWS Athenaとは？ 41 AWSが提供するフルマネージドなクエリエンジン Prestoベースのクエリエンジンを採用 SQL互換/ S3上のデータに対してアドホックにクエリを実行可能 ハイパフォーマンス クエリ単位の従量課金 実行したクエリのS3スキャン量のみに課金される 1TB/5USD (※2019年4月時点) ユースケース次第では、低コストなクエリ環境を実現可能 高速なクエリ実行が可能
- 42. システム概要: これまでのアドホック分析基盤 42 オンプレ Hadoopクラスタ （HDP ver 2.6.5） HDFS YARN Sqoop/Spark etc Hive Presto Redash
- 43. システム概要: 現在のアドホック基盤 43 オンプレ AWS Hadoopクラスタ （HDP ver 2.6.5） HDFS YARN Sqoop/Spark etc Hive Presto Redash Athena Glue S3 distcpを用いたデータ同期
- 44. Athena移行 ハマったこと&得られた知見 Copyright © since 1998 DMM All Rights Reserved. 44
- 46. オンプレ to Athena間のバージョン差異 46 Prestoのバージョン間でクエリ構文が異なる 上位バージョンの機能(CBO等) は未サポート UDFや一部のクエリが使えない オンプレPrestoのバージョンは 0.182 Athena側でサポートしていない機能がある https://docs.aws.amazon.com/ja_jp/athena/latest/ug/other-notable-limitations.html Athenaは Presto 0.172 ベース redash上に保存されているクエリの書き換えが必要
- 47. オンプレ to Athena間のバージョン差異 47 バージョン間でクエリ構文が異なる 対応 クエリの一括書き換え実施 cast(〜as int) →cast(〜as integer)
- 51. 永遠に終わらないdistcp 51 DB対象のdistcpが2週間経過しても終わらない FileSize: 3.6TB distcpのオプション: --update: 差分のみ転送 --delete : dstのみに存在するファイルを削除 mapper num : 60, bandwidth: 10mb/sec
- 55. データ同期してくれないdistcp 55 distcp 実行後に一部のケースでデータ同期されない case1. 数件程度のレコード追加 case2. カラムの値のみ更新(新規レコード追加なし) 差分のファイルサイズが非常に小さい場合 データが同期されない....？
- 56. データ同期してくれないdistcp 56 要因 S3 to HDFS間のdistcp転送時にCRC Checkが無効化さ れる ファイルサイズを使った差分チェックのみ実行される https://docs.hortonworks.com/HDPDocuments/HDP2/HDP-2.6.5/bk_cloud-data-access/content/s3-distcp-limitations.html その他にも未対応オプションあり(-append, -diff, -p 等) スモールサイズなファイル更新の場合に データ転送が実行されない可能性あり
- 57. データ同期してくれないdistcp 57 対応 ケースに応じて個別にoverwriteオプションを付与し 強制的な上書きを実行 case2. 事前にカラムの値のみ更新が発生することが把握できている case1. distcp -update 実行後も件数が一致しない
- 58. 現在の課題と今後の取り組み Copyright © since 1998 DMM All Rights Reserved. 58
- 59. 現状の課題 59 利用者数の増加により、ETLが遅延するケースが発生 不完全なデータ同期 AWS環境でもレコード単位でのアクセス制御を導入する必要がある Athenaのアクセス制御の問題で、一部のクラウド移行 が完了していない スケーラブルでスモールサイズのファイル更新に対応した HDFS to S3 間のデータ同期の仕組みが必要 Hadoopクラスタのリソース最適化の必要性 同期速度が遅い、一部のスモールサイズなデータ更新を検知できない