AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント

AWS と DENODO で実現するデータ活⽤基盤 - データ⺠主化を加速するクラウド活⽤のポイント
© 2022, Amazon Web Services, Inc. or its affiliates.
AWS と Denodo で実現するデータ活⽤基盤
データ⺠主化を加速するクラウド活⽤のポイント
吉⽥成利
アマゾンウェブサービスジャパン合同会社
ISV パートナー本部
データベースパートナーソリューションアーキテクト
FAST DATA STRATEGY VIRTUAL SUMMIT 2022 JAPAN

© 2022, Amazon Web Services, Inc. or its affiliates. 2
吉⽥成利 | Michitoshi Yoshida
ISV パートナー本部
データベースパートナーソリューションアーキテクト
データベースを専⾨に、パートナー様の
トレーニングや技術⽀援を担当
好きな AWS のサービス :
Amazon Relational Database Service
Amazon Aurora, Amazon S3

本セッションでお話しする内容
3
• クラウド時代のモダンデータ戦略
• AWS サービスと Denodo で実現するクラウドデータ活⽤基盤

クラウド時代の
モダンデータ戦略
4

20 年前の 1 年間で⽣成されるデータ量と⽐較し
現在の 1 時間あたりに⽣成されるデータ量の⽅が多い
(Source: IDC Seagate Rethink Data Survey, January 2020)

新しい要件︓リアルタイム分析
6
Source: Mike Gualtieri, Forrester, Perishable Insights
Real time Seconds Minutes Hours Days Months
Value
of
data
to
decision-making
Preventive
/
predictive
Actionable Reactive Historical
この時点で返信することで,
お客様にとって価値の⾼い提案となる
この時点では既に関⼼が
失われているかもしれない
例︓クリックストリーム分析における速度の価値

新しい要件︓AI や機械学習の活⽤
7
77%
of the devices
we use
ライドシェア (例: Uber, Lyft)
待ち時間、需要予測、価格設定
オンラインショッピング
検索結果、商品レコメンド
2023年の世界
80億個以上の AI/ML 搭載デジタルアシスタント
⾦融機関
書類（⼩切⼿等）の認識
クレジット・デビットカードの不正取引検知
101 Artificial Intelligence Statistics [Updated for 2022]
DIGITAL VOICE ASSISTANTS IN USE TO TRIPLE TO 8 BILLION BY 2023, DRIVEN BY SMART HOME DEVICES

今のデータ活⽤基盤に求められる要素
8
デプロイしやすく
セルフサービスで
⾃動スケーリングが可能な
データ活⽤基盤により、
多様なユーザーが
データをより効果的に活⽤する
データエンジニア
データの取り込みと準備
デベロッパー
データアナリスト
データサイエンティスト
アプリケーションのビルドと
データ分析
ビジネスリーダー
ビジネス上の意思決定と成果
データ活⽤
基盤
運⽤効率の向上、より多くの情報に基づく意思決定、イノベーションの加速

クラウド時代のモダンデータ戦略
9
NoSQL
データベース
機械学習
データ
ウェアハウス
ログ分析
ビッグデータ
処理
リレーショナル
データベース
Data lake
スケーラブルなデータレイク
ニーズに最適化された分析サービス
シームレスなデータ連携
統合されたデータアクセスとガバナンス
AI/機械学習との統合

事例
10
10

AWS サービスと Denodo で
実現するクラウドデータ活⽤基盤
11

データ活⽤基盤を AWS クラウドで構築すべき理由
12
包括的な
ポートフォリオ
セキュリティ構築の
容易さ
⾼い
コスト効果
豊富な顧客事例と
パートナー
ソリューション

13
包括的な
容易さ
⾼い
コスト効果
パートナー

NoSQL
データベース
機械学習
データ
ウェアハウス
ログ分析
ビッグデータ
処理
データベース
Data lake
スケーラブルな
データレイク

AWS のデータレイク = Amazon S3
15
Amazon S3
⾼い耐久性、可⽤性、
スケーラビリティ
オブジェクトレベルの
アクセス制御
Intelligent Tiering 機能
を⽤いたコスト最適化
セキュリティ、
コンプライアンス、監査に対応
数多くの⽅法で
データを取込み可能
様々な分析サービスに対応
アーカイブを含むコールドストレージに対応

NoSQL
データベース
機械学習
データベース
Data lake
ニーズに最適化された
分析サービス
データ
ウェアハウス
ログ分析
ビッグデータ
処理

データ分析の代表的なユースケースと利⽤ツール
17
ビジネスユーザー
プロダクト／
サービス担当者
データ
サイエンティスト
定型的な分析の結果を確認し、⾃分の仕事
に活かす
例︓⾃分の担当している製品の地域ごとの
売上を確認して、次のアクションを決める
サービスのログやメトリックを分析し、
⾃⾝の担当しているプロダクト／サービス
の改善に活かす
例︓障害やパフォーマンス劣化の原因調査、
機能の利⽤傾向の調査
データを基にしたトレンド分析や
仮説検証を⾏い、意思決定の⽀援を⾏う
例︓マーケティング施策の効果検証
⾼度な分析⼿法を⽤い、複雑な意思決定の
⽀援や、業務システム／サービスに
組み込む機械学習モデルの開発を⾏う
例︓オンライン広告の⾼精度な効果測定、
レコメンデーションアルゴリズムの開発
BI ツール
CLI/SQL
プログラミング⾔語
利⽤ツール
データの集計／分析に使⽤する、
GUI ベースの専⽤ツール
直感的に扱え、結果を簡単にグラ
フに表現できるものが主流。
データベースに対して、操作や問
い合わせを直接⾏う際に使⽤。
BI ツールやプログラミング⾔語か
らも利⽤可能。
統計解析や機械学習に関するライ
ブラリを⽤いて、複雑な分析やモ
デルの開発を⾏う。ライブラリの
充実さから、Python や R の利⽤が
多い。
ユースケース

ビジネスユーザー
プロダクト／
サービス担当者
データ
サイエンティスト
定型的な分析の結果を確認し、⾃分の仕事
に活かす
例︓⾃分の担当している製品の地域ごとの
売上を確認して、次のアクションを決める
サービスのログやメトリックを分析し、
⾃⾝の担当しているプロダクト／サービス
の改善に活かす
例︓障害やパフォーマンス劣化の原因調査、
機能の利⽤傾向の調査
データを基にしたトレンド分析や
仮説検証を⾏い、意思決定の⽀援を⾏う
例︓マーケティング施策の効果検証
⾼度な分析⼿法を⽤い、複雑な意思決定の
⽀援や、業務システム／サービスに
組み込む機械学習モデルの開発を⾏う
例︓オンライン広告の⾼精度な効果測定、
レコメンデーションアルゴリズムの開発
BI ツール
CLI/SQL
プログラミング⾔語
データの集計／分析に使⽤する、
GUI ベースの専⽤ツール
直感的に扱え、結果を簡単にグラ
フに表現できるものが主流。
データベースに対して、操作や問
い合わせを直接⾏う際に使⽤。
BI ツールやプログラミング⾔語か
らも利⽤可能。
統計解析や機械学習に関するライ
ブラリを⽤いて、複雑な分析やモ
デルの開発を⾏う。ライブラリの
充実さから、Python や R の利⽤が
多い。
ツールを使った
シンプルな集計や可視化
複数種類のデータに対する
アドホック／探索的な分析
リアルタイム分析
定常的に実⾏される
複雑な集計処理
Python や R を使った
応⽤的な分析、機械学習
分析基盤で実⾏されるワークロード
ユースケース
データ分析の代表的なユースケースと利⽤ツール

ニーズに最適化された分析サービス
19
Amazon Athena
対話的なクエリ
Amazon EMR
ビッグデータ処理
Amazon Kinesis
and Amazon MSK
リアルタイム分析
Amazon Redshift
データウェアハウス
マネージドサービス
パフォーマンス、コスト、スケール、ユースケースに沿った最適な分析サービスを選択

データウェアハウス : Amazon Redshift
20
Analyze all your data
オペレーショナルデータベース、データレイク、データウェア
ハウスにまたがる複雑でスケーリングされたデータに対して、
リアルタイムの予測分析を実⾏
Best price performance
at any scale
Easy analytics for everyone
インフラストラクチャを気にすることなく、
数秒でデータからインサイトを得ることに集中
他のクラウドデータウェアハウスに⽐べて最⼤ 3 倍の
コストパフォーマンスを実現し、動的にスケーリングして
複雑で重要なワークロードのクエリ速度を向上
誰でも簡単に
分析できる
全てのデータを
分析する
コストパフォーマ
ンスの⾼さ
数万の顧客を抱え、最も広く使⽤されているクラウドデータウェアハウス

Federated Query
Spectrum query
Data lake export
オペレーショナル
データベース
BI および各種専⽤の分析ツール
Amazon S3 データレイク
SQL
3rd
パーティーデータ
Data Lake query
AWS Glue Elastic Views
AWS Data Exhange のデータを
サブスクリプション利⽤
ライブデータへも
事前データコピーなく
シームレスにアクセス
Data Share
オープンフォーマットデータ利⽤
AWS ネイティブ連携サービスや
3rdパーティツールのコネクタ連携
API サービスなど
Lambda UDF 外部サービス連携⽤の
AWS Lambda カスタム関数を
SQL クエリの⼀部として使⽤
Amazon Redshift ML
機械学習
SQL ベースのモデル開発と利⽤
カスタムモデルのインポート
Amazon Redshift

Amazon Redshift Serverless
22
ノードタイプ、ノード数、ワークロード管理、
スケーリングなどを制御する必要はなく、サービスが
⾃動実⾏。データを投⼊してすぐに分析処理を開始で
きる
従来の Redshift クラスターと同じ SQL が実⾏可能
処理能⼒はワークロードに応じて⾃動的にスケール
アウト・ダウンし、⾮アクティブのときは⾃動停⽌
利⽤量に応じた従量課⾦で利⽤できる
東京、バージニア、オハイオ、オレゴン、
フランクフルト、アイルランドでプレビュー開始
Amazon Redshift Data API
JDBC/ODBC
Analytics
Tools
Your
applications
Amazon S3
data lake
Amazon Redshift Serverless
Intelligent
and
dynamic
compute
management
ML-based
workload monitoring
Automatic tuning
Automatic scaling
Automatic
workload management
Pay for use
Performance at scale
Automatic maintenance
AWS Lambda, AWS Cloud9, Java, Go,
PowerShell, Node.js, C#, Python, and
Ruby
Amazon Redshift
managed storage
Amazon Aurora/
RDS databases
P
r
e
v
i
e
w
クラスターの管理が不要となる新しい選択肢

リアルタイム分析 : Amazon Kinesis, Amazon MSK
23
メディアからの
ストリームデータを
キャプチャ、処理、保存し、
再⽣や分析、機械学習に活⽤
リアルタイムにデータ
ストリームを収集して、
データストアと
分析サービスにロード
SQL, Apache Flink,
Apache Beamを
使⽤してストリー
ムデータを分析
ストリーミングデータを
スケーラブルに収集、
保存してリアルタイム
分析に活⽤
Amazon Kinesis
Video Streams
Amazon Kinesis
Data Streams
Amazon Kinesis
Data Firehose
Amazon Kinesis
Data Analytics
Apache Kafkaを使⽤して
ストリーミングデータを
処理するアプリケーション
を構築、実⾏
Amazon MSK
ビデオやストリームデータをリアルタイムで簡単に収集、処理、分析

NoSQL
データベース
機械学習
データベース
Data lake
データ
ウェアハウス
ログ分析
ビッグデータ
処理
シームレスな
データ連携

複数データストア間でのデータ移動
25
データストアデータパイプラインターゲット
複雑なアプリケーション
コーディング
リトライ処理の考慮データパイプライン
の管理
ETL の専⾨家が必要

AWS Glue
26
AWS Glue
サーバーレス
スケジューラーと
ワークフロー
コードに集中
データソースの
メタデータ管理
VPC 内からのアクセス
他の AWS サービスと
容易に連携
Notebook での開発
セキュア
シンプルでスケーラブルなサーバーレスデータ統合プラットフォーム

AWS Glue Databrew
27
• GUI でインタラクティブに前処理を記述できるデータ加⼯ツール
• データのプロファイリングや分布、カラム同⼠の相関等も確認可能
• サンプリングデータで記述した処理を、⼤規模データにジョブとして適⽤
ビジネスアナリスト
データサイエンティスト
リッチなビジュアルインターフェイスでデータを整形

機械学習
28
NoSQL
データベース
データベース
データ
ウェアハウス
ログ分析
ビッグデータ
処理
Data lake
統合された
データアクセスと
ガバナンス

データレイク構築から分析までの流れ
29

AWS Lake Formation
30
Databases Logs
Streams
On-premises
Amazon S3 AWS Glue
Data Catalog
Amazon Redshift
Spectrum
AWS Glue ETL
Amazon Athena
Amazon EMR
Amazon
SageMaker
データ收集
信頼性の⾼いデータ
收集パイプラインを
数クリックで簡単に構築
データ管理
S3データレイク上のデータの
保存⽅法の最適化
セキュリティとガバナンス
⼤規模なデータレイクの
複雑な権限管理をシンプルに実現
データ共有
アカウントや組織を超えた
データ共有の実現
セキュアなデータレイクを迅速にセットアップ

31
包括的な
容易さ
⾼い
コスト効果
パートナー

Denodo Platform for AWS
32
オンプレミス／クラウドのすべてのデータを統合する、
データ仮想化ソリューション
AWS 上のデータと、オンプレミ
スのデータを ETL なしで仮想的
に統合することで、データのリ
アルタイム分析を容易に実現
統合されたデータのカタログや、
アクセス権限を⼀元的に管理
AWS Marketplace からワンクリ
ックでデプロイ、従量課⾦または
BYOL で利⽤可能

BI ⽤
AWS アカウント
33
CRM データ分析⽤
AWS アカウント
オンプレミス
Amazon S3
基幹アプリ⽤
AWS アカウント
Amazon Aurora
（基幹アプリ）
Web サービス⽤
AWS アカウント
Amazon DynamoDB
（Web サービス）
Amazon AppFlow
データ仮想化⽤
AWS アカウント
機械学習⽤
AWS アカウント
Amazon SageMaker
Amazon S3
AWS Glue
Amazon Redshift
Amazon QuickSight
新サービス⽤
AWS アカウント
Amazon ECS
オンプレミス／AWS 上の
データを仮想的に集約
データのカタログや
権限を Denodo で
⼀元的に管理
BI サービスで
リアルタイム可視化
機械学習⽤のデータセットを抽出、
推論の結果を S3 経由で他組織に共有
Denodo 上で作成した
API 経由でデータにアクセス
Denodo Platform と AWS サービスの連携例

まとめ
34

まとめ
35
• クラウド時代のデータ活⽤基盤には、多様な分析ニーズに対応できる
柔軟性や拡張性に加え、利⽤者が好きなタイミング／形式／ツールで
データを利⽤できるセルフサービス性、アクセス量の変化に
⾃動で対応できるスケーラビリティが求められている
• ユースケースに応じて、⽬的に合わせた分析サービスを選択することが重要。
データを安全に、容量制限なく保存できる Amazon S3 を中⼼に、
AWS、パートナーが提供する周辺サービスを組み合わせる
• クラウド／オンプレミス問わず、組織のあらゆるデータを仮想的に統合する
Denodo Platform for AWS を利⽤することで、データ管理の負荷を最⼩限に、
リアルタイム分析や AI/機械学習との統合を実現

Thank you!

AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント

Recommended

Recommended

More Related Content

Similar to AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント

Similar to AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント (20)

More from Denodo

More from Denodo (20)

AWS と Denodo で実現するデータ活用基盤 - データ民主化を加速するクラウド活用のポイント