2020/4/23 Databricksもくもく会の資料です

1. 株式会社ジール
永田 亮磨
Delta Lake概要

2. 自己紹介
永田 亮磨(Ryoma Nagata)
• BI専業ベンダー
（株式会社ジール）勤務
• Microsoft AzureのData Platform関
連の導入・開発やワークショップ
の講師をやってます
Twitter:@ryomaru0825
Linkedin:ryoma-nagata-0825
Qiita:qiita.com/ryoma-nagata

3. •Delta Lake概要
•Delta Lakeデモ
AGENDA

4. OSSプロジェクト『Delta Lake』
• Databricksの機能であったDelta
をOSS化（昨年のSpark + AI
Summit 2019 Keynoteで発表）
• ファイルシステム上で動作し
UpdateなどのDML実行が可能
• 実態はparquetファイルのため高
圧縮率
• 現在version 0.5.0
• https://delta.io/

5. DatalakeとDWHの一般的な課題
Datalake
• 柔軟に大容量データを格納可能
だが
• 異なるシステムのストリーミング
データの統合が困難
• データレイク内のデータ更新は不
可能
• データレイクへのクエリ速度は低
い
DWH
• 永続テーブルの高速なクエリ
だが
• アクセスがSQLに限定
• ストリーミングデータと保存データの
同時アクセスは困難
• スキーマ柔軟性の課題
• コンピューティングとストレージの密
結合

6. Delta Lake主要機能
Bigdataシステムで肥大した大規模なメタデータを分散処理可能
バッチデータ、ストリーミングを容易に統合
挿入データのスキーマ不正を自動検証
マージ、更新、および削除操作（DML）をサポートして複雑なユースケースを実現
データのバージョン管理により、ロールバック、完全な履歴監査証跡、機械学習の再現が可能
読み取り結果の不整合を防止

7. Big Data基盤に代表的なラムダアーキテクチャ
• スピードレイヤ（速報データ）とバッチレイヤ（蓄積データ）により、リアルタイム分析と時系列分析を両立
• バッチレイヤで生データを保持し（DataLake）、ビジネスロジック変更後の再計算が可能
Big Data基盤の懸念
• https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture
データソース

8. ラムダアーキテクチャ
Big Data基盤の懸念
• https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture
データソース
不正データ混入時の対応
table/
├ 2020-01-01/
├ 2020-01-02/
├ 2020-01-03
│ └ data-01.parquet
・
・
・
パーティションに分散したデータの修正は
現実的？

9. ラムダアーキテクチャ
Big Data基盤の懸念
• https://docs.microsoft.com/ja-jp/azure/architecture/data-guide/big-data/#lambda-architecture
データソース
速報データ同士の結合は不要？
データソース

10. Delta Lake 活用シーン①
-安全なデータの追加
• 追加（append）、
上書き（overwrite）操作をアト
ミックに実行
• テーブル挿入時には自動でス
キーマ検証を行い、不正データ
を例外処理することでデータを
保護
df.write
.format("delta")
.mode("append")
.save("/mnt/delta/events")
連携データ 生データ保管
バッチデータ
保管テーブル追加 or 上書き
（ACID）
不正列データ 生データ保管
バッチデータ
保管テーブルスキーマチェック

11. Delta Lake 活用シーン②
-DMLによるデータ更新
• Update、Delete、 Mergeをサ
ポートし、データの修正・削除
Upsertを実行
• タイムトラベルにより復元可能
• パーティションの利用により高
速化が可能
• Databricksでは先行利用できた
が、Delta Lake 0.3.0リリースで
実装（Announcing the Delta
Lake 0.3.0 Release）
ID eventType timestamp
1 clck 2020/4/1 23:00
2 clck 2020/4/1 23:01
3 conversion 2020/4/1 23:02 UPDATE events
SET eventType = 'click’
WHERE eventType = 'clck'
ID eventType data
1 click AAA
2 click BBB
3 conversion CCC
ID eventType data
3 conversion ccc'
4 conversion DDD
MERGE INTO events
USING updates
ON events.eventId = updates.eventId
WHEN MATCHED THEN
UPDATE SET events.data = updates.data
WHEN NOT MATCHED THEN
INSERT (date, eventId, data) VALUES (date, eventId, data)
ID eventType data
1 clck AAA
2 clck BBB
3 conversion ccc'
4 conversion DDD

12. Delta Lake 活用シーン③
-異なるソースデータの統合
• Structured-Streamingを利用し
たDataframe操作により、バッ
チ、ストリームを容易に結合可
能
• Structured-Streamingでは追加
されたファイルのみを正確に処
理
spark.readStream
.format("delta")
.load("/mnt/delta/events")
Or
events.writeStream
.format("delta")
.outputMode("append")
.option("checkpointLocation", “path")
.start("/delta/events")
ストリーム
データ
ストリーム
データ
バッチデータ
ストリームデータ
保管テーブル
ストリームデータ
保管テーブル
バッチデータ
保管テーブル
集計速報テーブル
ストリームデータ
統合テーブル
ストリーム
＆バッチデータ統
合テーブル

13. • Git
• https://github.com/ryoma-
nagata/MyDatabricks/blob/master/20200423demo/DeltaLakeDemo_JPNC
ovid19.ipynb
• Slide Share
• https://www.slideshare.net/ssuser61ea57
DEMO

14. • https://pages.databricks.com/Solving-Business-Problems-Delta-
Lake-eBook-lp.html?_ga=2.206963795.130091878.1587356867-
872940378.1579665710
• https://docs.delta.io/0.4.0/delta-intro.html
• https://docs.microsoft.com/ja-jp/azure/databricks/delta/delta-
intro
• https://databricks.com/blog/2019/10/03/simple-reliable-upserts-
and-deletes-on-delta-lake-tables-using-python-apis.html
• https://docs.microsoft.com/ja-jp/azure/architecture/data-
guide/big-data/#lambda-architecture
• https://kb.databricks.com/delta/delta-merge-into.html
参考リンク

15. ご清聴ありがとうございました。