Spark + AI Summit 2020セッションのハイライト（Spark Meetup Tokyo #3 Online発表資料）

© 2020 NTT DATA Corporation
Spark + AI Summit 2020セッションのハイライト
～セッション傾向、ピックアップして易しく紹介～
2020/7/31
NTTデータ土橋
Spark Meetup Tokyo #3 Online

自己紹介
土橋昌（どばしまさる）
エグゼクティブITスペシャリスト・課長
NTTデータインテグレーション技術センタ / OSSプロフェッショナルサービス
• 専門分野は、オープンソースソフトウェア活用、
データ活用基盤、分散処理
• Hadoop、Spark、Kafkaなどのデータ活用・分散処理基盤に
関する研究開発、システム開発を主導
経歴
登壇
・
出版
など
• 技術カンファレンス Strata Data Conference, Spark Summit,
Kafka Summit, Hadoop/Spark Conference Japan,
USENIX OpML 等多数登壇・採録
• 翔泳社『Apache Spark入門』、『Apache Kafka 分散メッセージン
グシステムの構築と活用』など執筆・監修

© 2020 NTT DATA
Corporation
3
アジェンダ
1. セッション全体の印象
– 目立つキーワード、トラックの概況
2. セッションのピックアップ紹介
– 目についたセッションをいくつか概要紹介

セッション全体の印象

© 2020 NTT DATA Corporation 5
概要
• URL
• https://databricks.com/jp/sparkaisu
mmit/north-america-2020
• ワードクラウドからの特徴
• スケーラビリティ、機械学習関連（AI、
深層学習含む）のキーワードが目立っ
た。合わせて、ML Opsを想起するもの
（パイプライン、モデル等）も見られる。
• プロダクトカットMLflow、Delta Lakeが
目立つ。そのほかKubernetes、
Apache Arrow、Prestoあたりが載って
いる。
Spark、Data、等をストップワード指定してワードクラウド化

トラックとトピック
• AI Use Cases
• Data & ML Industry Use Cases
• Data and ML Research
• Data Engineering and Architecture
• Data Science, Deep Learning and
Machine Learning
• Developer
• Follow Along Training
• Impact and Innovation
• Open Source Data and ML Tools
• Special Events
• Vertical Events
• Keynote
• Analytics
• Apache Spark Use Cases
• Architecture
• Databricks Tech Talks
• Deep Learning
• Hands on tutorials
• Machine Learning
• Python
• Sponsored Sessions
• Technical Deep Dives
• Technical vs Non-Technical
• Techniques
トラックトピック
※トピックはあまり使われていなかった？

トラックとトピック
• AI Use Cases
• Data & ML Industry Use Cases
• Data and ML Research
• Data Engineering and Architecture
• Data Science, Deep Learning and
Machine Learning
• Developer
• Follow Along Training
• Impact and Innovation
• Open Source Data and ML Tools
• Special Events
• Vertical Events
• Keynote
• Analytics
• Apache Spark Use Cases
• Architecture
• Databricks Tech Talks
• Deep Learning
• Hands on tutorials
• Machine Learning
• Python
• Sponsored Sessions
• Technical Deep Dives
• Technical vs Non-Technical
• Techniques
分析や機械学習に関連
したトラックが多い
トラックトピック
※トピックはあまり使われていなかった？

セッションを眺めた所感
• Sparkのエコシステムを題材とした発表が多数
• Spark、Koalas、Delta Lake、MLflow、etc
• ノウハウを紹介する発表も多数
• MLflow使ってパイプラインを構成するには…、Delta Lakeを使ってレイクハウスを構成す
るには、etc
• 事例ベースの発表も見られる
• U.S. Citizenship and Immigration、Thermo Fisher、CapitalOne、etc

セッションのピックアップ紹介

今回紹介するセッション
• Lessons Learned from Modernizing USCIS Data Analytics Platform
• Shawn Benjamin, U.S. Citizenship and Immigration | Prabha Rajendran, U.S.
Citizenship and Immigration
• Simplify CDC Pipeline With Spark Streaming SQL And Delta Lake
• Jun Song, Alibaba

© 2020 NTT DATA
Corporation
11
Lessons Learned from
Modernizing USCIS Data
Analytics Platform
Spark + AI Summit 2020
• Shawn Benjamin, U.S. Citizenship and
Immigration | Prabha Rajendran, U.S.
Citizenship and Immigration

引用：Spark + AI Summit 2020（https://databricks.com/jp/sparkaisummit/north-america-2020）
講演概要
• USの公共系のユースケース → U.S. Citizenship and Immigration
• データソース → DWH → BIツールの構成から、Sparkを活用した基盤に移行
• Delta Lakeをデータレイク（レイクハウス）とした、CDCを実現
• BI部分はダッシュボードベースのアーキテクチャ（Tableau、SASなど）
• 機械学習も利用。例：予約したが現れない人の予測
• H2Oと組み合わせて時系列データ分析（回帰分析など）

UCISのアーキテクチャ変遷
データソースから単純に読み込み、
DWH上データをBIツールで分析
分析環境のユーザ、デ
ータは拡大の一途だっ
た

既存のアーキテクチャを維持しつつSparkを導入
data ingestionの改
善
Spark導入
単純にS3に置くのではなく、レイク
ハウス化
この辺はあまり変わらない。この辺はあまり変わらない。

データとユーザの拡大（2354人→6233人）
2354人（2016）
→6233人（2020）
およそ2.6倍
パブリッククラウドのオブジェクトストレージ上のデータ種類も増大

データ挿入：Delta Lakeを利用したCDC
オブジェクトストレージ上のDelta Lakeに
データを書き込み、データ活用関連の技
術と連係させる
主な利点
• データ挿入・CDC
• 弾力性
• データ品質、可用性、
性能
• スキーマエボリューション

データ活用：BIツール（これはもともと利用していたようだ）

データ活用：機械学習の利用
• 例：予約をしたが訪れなかった人の分析。なぜ訪れなかったのか、など。
Python、R、Spark
等を利用してモデル
開発

データ活用：テキスト分析
• 例：センチメンタル分析。調査結果の分析。
S3上に置かれたデー
タをSpark等を使って
分析

データ活用：H2Oと組み合わせ時系列データ分析
トラディショナルな時系列データ分析手法を用いて
予測し、日々の計画・運用を実施

成功の秘訣
気軽にストレージにデータを置いて
利用したいのだが、そのときの
スケーラビリティは使い勝手に直結する
多くのケースで「データ取り込み」は
課題になりがち。パイプラインの途中で
モダンな技術に流し込めるかどうか？

© 2020 NTT DATA
Corporation
Simplify CDC Pipeline With
Spark Streaming SQL And
Delta Lake
Spark + AI Summit 2020
22

講演概要
• データソースからのデータ吸出し
• Debezium等を利用してKafkaにbinlogの内容を転送。そこからSpark Streaming
SQL（独自開発？）で変換してDelta Lakeに書き込み
• Delta Lake利用時のポイント
• 安定した性能のためには、Compactionが必要になるが、バックグラウンドでの
Compaction実行時にファイル削除で衝突が発生した。
• insertのみのケースについてはFixされた。delete / update時は、該当するミニバッチ処理
の再起動が必要
• ミニバッチごとに自動でCompactionする方式も提案

AlibabaにおけるCDCのアーキテクチャ概要
データソース蓄積・加工活用

データ取り込みの一例：Sqoop → 辛くてやめた様子
• データソースに負荷
• バッチジョブのレイテンシが大きい
• 削除に非対応
• スキーマ変更に非対応

データ取り込みの一例：binlog使う方法 → 単純な置き換えではまだ辛かった様子
debeziumな
ど
• 各種サーバの運用が大変…
• HBaseは高スループットでの分析が苦手
• マージ処理を実装すると複雑
• スキーマ変更に非対応
→ どちらかというと書き込み先の課題が残った

Spark Streaming SQLを開発中
Structured Streaming の上に成り立つ仕組みとのこ
と

Spark Streaming SQL の例：Kafkaから読み込んでテーブル定義する例
Kafkaから読み込む例

Spark Streaming SQLとDelta Lakeの組み合わせ

（参考）Delta Lake？
• ファイルシステムやストレージ上に、データを「上手に置く」ことで様々な特徴を付
与する仕組み
Delta Lake ～データレイクにデータ分析向けの特長を添えて～
https://www.nttdata.com/jp/ja/data-insight/2020/0716/
分析に便利な機能を提
供したり、安全に保存した
り、ストリームでデータを取
り込んだり…

Spark Streaming SQLとDelta Lakeの組み合わせ
• 前のスライドで挙げていた辛いところの裏返し

最終的なアーキテクチャイメージ、データ抽出の流れ
Debezium等でbinlogを
読み出しKafkaに入れ
る
Spark
Streaming SQL
でDelta Lakeの
マージ機能を利
用して更新する

ミニバッチごとにマージする

小さなデータを書き込むので課題が生じる
データをまとめこむ処理

初期のアプローチ：数時間ごと等でCompactionを走らせる
時折Compactionを走らせて
おく

ストリーム書き込みとCompactionの課題の例
例：ファイル削除がコンフリクト →ストリーム処理が例外
で落ちる
（補足）事象の推測
• コンパクションはいくつかのファイルをまとめて
書き出し、Delta Lakeのメタデータを
更新して新しいファイルを見るようにする。
• 別のトランザクションが走行中にコンパクションが
行われると、「変更（更新・削除）しようとした
ファイルが既に削除されている」ということが起こりえる。
（その場合は例外が生じる）

バッチの間でCompactionする方式
小さなバッチ処理の合間で必要に応じてコンパク
ションを実行

Future work

まとめ

おわりに
• Spark + AI Summit 2020はセッション数が多く、事例やノウハウを伝えるものも
多い。
• コンテンツとしては、データ分析、機械学習に関連するものが多い。（必ずしもSparkだけ
に限らない）
• データレイクを補強する技術（Delta Lake等）、ML Ops関連の技術（MLflow等）
の話も多い
• 事例ベースの2セッションを簡単に紹介
• Lessons Learned from Modernizing USCIS Data Analytics Platform
• Shawn Benjamin, U.S. Citizenship and Immigration | Prabha Rajendran, U.S. Citizenship
and Immigration
• Simplify CDC Pipeline With Spark Streaming SQL And Delta Lake
• Jun Song, Alibaba

• 本スライドに記載されている会社名、システム名、製品名は一般に各社の登録商標、または商標です。
• 本スライドに記載の内容は必ずしも当社の統一見解を示すものではありません。

Spark + AI Summit 2020セッションのハイライト（Spark Meetup Tokyo #3 Online発表資料）

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Spark + AI Summit 2020セッションのハイライト（Spark Meetup Tokyo #3 Online発表資料）

Similar to Spark + AI Summit 2020セッションのハイライト（Spark Meetup Tokyo #3 Online発表資料） (20)

More from NTT DATA Technology & Innovation

More from NTT DATA Technology & Innovation (20)

Recently uploaded

Recently uploaded (9)

Spark + AI Summit 2020セッションのハイライト（Spark Meetup Tokyo #3 Online発表資料）