データマネジメント今昔物語〜プロダクトの視点から見るカオスと進化 #TechMar

2021 KT Portrayer of the D♡TA Universe | Grand Master of DATA Saber
データマネジメント
今昔物語
プロダクトの視点から見る
カオスと進化
2021.12.10
KT | Grand Master of DATA Saber @DATA_Saber
(Product Marketing Manager, Snowﬂake)

© 2020 Snowflake Inc. All Rights Reserved
Who is KT?
Grand Master of DATA Saber
DATA Visualization & Storytelling Evangelist,
Tableau User Group Ambassador
書籍「データドリブンの極意」
Snowflake, プロダクトマーケティング
コスプレイヤー
@DATA_Saber

KTの経歴
日系システムインテグレーター(SIer)7年→Tableau5年→Snowflake1年半
※間に買収が入って厳密な社数はもっと多いのですがここでは省略します
実際に操作したことがあるデータ関連プロダクト
Cognos、QlikView、SQL Server（SSIS(ETL)も含む）、
Tableau、Snowflake
※その他にもさまざまな製品がありますが、
無責任なことは言いたくないので私の経験でお話しします

所属によるテクノロジーとの向き合い方
所属タイプ主なミッション技術との向き合い方陥りがちなワナ
事業会社自社の事業の目標を
達成すること
目標を達成するために必要な技術を選
定する。管理面を考慮し、統合したり、
長く使ったりできればいいが、基本的に
はやりたいことができれば良い
古い時代の技術で効率が良かった方
法を継承して、それをなんとしてでも実
現しようとしてしまうことがある
→技術のアップデートが必要
コンサルタント
システムインテグレーター
(SI)
事業会社の目標を
技術あるいは考え方で支
援
さまざまな技術情報を収集し、最適なも
のを選択したり組み合わせたりして事
業会社に提案する
顧客の言いなりになってしまうことがあ
る
→時には自分のスキルを総動員して
意見を交わすことが必要
製品・
サービスベンダー
自社製品・サービスで支
援
自分たちの製品やサービスが課題を
解決できると確信している
自分のプロダクトが顧客の課題の全て
を解決できると過信してしまう
→常に顧客の声を聞き、製品・サービ
スをアップデートすることが必要

所属によるテクノロジーとの向き合い方
所属タイプ主なミッション技術との向き合い方陥りがちなワナ
事業会社自社の事業の目標を
達成すること
目標を達成するために必要な技術を選
定する。管理面を考慮し、統合したり、
長く使ったりできればいいが、基本的に
はやりたいことができれば良い
古い時代の技術で効率が良かった方
法を継承して、それをなんとしてでも実
現しようとしてしまうことがある
→技術のアップデートが必要
コンサルタント
システムインテグレーター
(SI)
技術あるいは考え方で支
援
さまざまな技術情報を収集し、最適なも
のを選択したり組み合わせたりして事
業会社に提案する
顧客の言いなりになってしまうことがあ
る
→時には自分のスキルを総動員して
意見を交わすことが必要
製品・
サービスベンダー
自社製品・サービスで支
援
自分たちの製品やサービスが課題を
解決できると確信している
自分のプロダクトが顧客の課題の全て
を解決できると過信してしまう
→常に顧客の声を聞き、製品・サービ
スをアップデートすることが必要
私の経歴はココ

おことわり
TableauとSnowflakeという類稀なる（と信じている）プロダクトに
人生を（いい意味で）変えられた個人が語るお話です。

データマネジメントとは？

マネジメントとは？
[management] 管理・経営
組織に成果を上げさせるための道具、機能、機関
[manage] 取り扱う・処理する
英語的には「手腕、処理能力、うまく処理する」
<語源>
man=手　ラテン語のmanus　馬の調教（伊：maneggiare）
馬を御する・馴らす・手綱を引く・操作する・なんとかする
参考：
　マネジメントとは？定義と役割・今後求められる 3つのポイントを徹底解説
　続 10分でわかるカタカナ語　第 11回マネージメント
　『マネジメント』の意味とは？英語の『 management』を正しく理解して使いこなそう！
　managementの語源は何なのでしょうか？
　英単語 manage の意味

データとは？
紙に記載していた
情報
　　　　システムに
登録された購買履歴
Webサイト
　アクセス
人のいた場所
　　　　動き

データは世界を写す鏡
　〜データを知ることは世界を知ること

データマネジメントとは
（世の中の状況の写しである）データをうまく扱って、
企業に成果を上げさせる経営をやっていくこと
（それを実現する技術や方法のことを指す場合もある）
　→ただしここにこだわりすぎてはいけない
　→大切なことは「データを御していかに経営できるか（経営層だけじゃない、現場も含めて）」

身の回りを正しく把握して、意思決定する・・
当たり前では？
「身の」周りが広すぎて、私たちの直感を鈍らせる

変化する
データマネジメント

営業
マーケ
製造
サポート
データウェアハウス
(DWH)
BIツール
レポーティング
可視化
ETL
かつての情報系システム　1980年頃〜
データ取得から可視化全体をビジネスインテリジェンス（BI）と呼ぶこともある
デ
｜
タ
モ
デ
ル
データ
マート
キュ
ーブ
基幹システム

インターネットの普及　1995年〜2000年頃
あらゆる活動が「データの上で」完結し始める
リアル世界のコピー→システムの上で行動した結果がそのままデータ化
データを見なければ
起こっている事象を理解できない世界

営業
マーケ
製造
サポート
(DWH)
BIツール
可視化
ETL
かつての情報系システムの課題
データ取得から可視化全体をビジネスインテリジェンス（BI）と呼ぶこともある
デ
｜
タ
モ
デ
ル
データ
マート
キュ
ーブ
基幹システム
💢
💢
💢

2003年　Tableau創立

BI・可視化領域
における変遷
参考　The 2021 Gartner BI Magic Quadrant Visualized in Tableau

ビジュアル分析のサイクル
セルフサービスBIの究極の姿
　〜ビジュアル分析のサイクル

2016年頃、データ可視化技術の普及
データを扱う人が増えた
良いこと
• より多くのインサイト
• より深い議論
• 合意形成
悪いこと
使い方をよく知らない
• 間違った処理
• 重たい処理

営業
マーケ
製造
サポート
(DWH)
ETL
セルフサービスBIとガバナンスの狭間で
データ
マート
キュ
ーブ
基幹システム
野良BI
野良BI
BIツール
可視化
デ
｜
タ
モ
デ
ル
💡
💡
💡
💡
💡
💢💢💢
💢
💢
💢

セルフサービスとはどういうことか？
事前に想定されるディメンションを定義することは難しい
時間軸のデータの例
高精細な秒単位のデータ　V.S. 　集計された日単位のデータ
件数÷60秒÷60分÷24時間＝1/86,400
1億件のデータなら　1,157件
1億件のデータがおいそれと分析できたか？

急速に接近した人々の間にある言葉の壁
「生データください」
データソースや生データという言葉が意味しているものは人によって違う
言葉の意味は本当に同じか？　確認しながら進めないといけない

データに辿り着けない問題
ビジュアル分析のサイクル

データ量の問題
Tableauの場合はhyperで対応した (2016年)
Welcome, Hyper team, to the Tableau community!

前処理の問題
Tableauの場合はPrep Builderで対応した (2018年)

営業
マーケ
製造
サポート
カオスの進行：基盤の進化と用途の増加
データ
マート
基幹システム
データ
サイエンス
BIツール
可視化
💡
💡
💡
💡
💡
💡
データレイク
ELT データ
アプリケーション
データ
ウェアハウス
(DWH)
デ
｜
タ
カ
タ
ロ
グ
💡
💡
💡
💡
💡
💡
外部
データ
💢
💢
💢
💢💢💢💢
💢
💦
💦
💦
💦
💦

データマネジメントの肝
データよデータ、あなたはどこからきて、どこへゆく？
データパイプラインを理解すること。方法の例
1. 誰にとっても可視化することと（Tableau：Data Management Addon）
2. パイプラインそのものを極限までシンプルにする（Snowflake：データクラウド）

これからどこへ向かうのか？
数十年前の枠組みや考え方をそのまま使うのか？
あなたが作ろうとしているのはデータウェアハウスやデータレイクなのか？

クラウドリソースを使ったデータ基盤
なぜクラウドサービスなのか？
　→リソースを組み合わせずに仕組みだけ提供する方法の限界
リソースの問題が解決すればデータパイプラインは必ずシンプルになる

営業
マーケ
製造
サポート
基盤の進化と用途の増加
基幹システム
データ
サイエンス
BIツール
可視化
💡
💡
💡
💡
💡
💡
データレイク
ELT
データ
データ
ウェアハウス
(DWH)
デ
｜
タ
カ
タ
ロ
グ
💡
💡
💡
💡
💡
💡
外部
データ

2015年　Snowflake創立

営業
マーケ
製造
サポート
今のところこういうイメージ
基幹システム
データ
サイエンス
BIツール
可視化
💡
💡
💡
💡
💡
💡
データレイク
ELT
データ
データ
ウェアハウス
(DWH)
デ
｜
タ
カ
タ
ロ
グ
💡
💡
💡
💡
💡
💡
外部
データ
🎶
※Snowﬂake Webトップページより

営業
マーケ
製造
サポート
データをつなぐネットワーク〜Snowflakeの構想
組織内データ
💡
💡
💡
💡
💡
💡 💡
💡
💡
💡
💡
SNS
💡
💡
💡
💡
気象
市場
人流
関連会社
サプライ
チェーン
外部データ
データ
クラウド

経験と勘にデータが負ける？

経験と勘 2.0
経験と勘
　自分が経験した事象による判断
データによる意思決定＝経験と勘 2.0
　たくさんの人が経験した事象による総合的な判断

課題その１：必要なデータを見れていない
事象
元データ
取得できていない
設計・体験想定ミス
取得時のエラー
分析用
データ
データ
基盤
？
連携されていない
削除されている
集計されている
前処理やリクエストに時間がかかる
データがどこにあるかわからない
データがあることを知らない

有用にして危険でもあるストーリーテリング
人は断片をつなぎ合わせて物語にしてしまうのが得意（早とちり・早合点）
意思決定は、基本的に早い方がいい（遅れると意味がないことがほとんど）
少ない情報から判断するのが得意
→なぜなら私たちは自然界では多くの情報を得ることはできないから
知識と理性でこの壁を越えないといけない

課題その２：データを信じられるか？
データによる経験を自分の経験のように「自分のものにできるか？」
そのためにはデータリテラシーやデータを操作するスキルが必要
信じられなければ強い推進力で実行できない

テクノロジーを自分の身体の一部にして
データを自分の思考の一部にする
…新人類？

アップデートを
求められ続ける世界へ

技術の進化と現実世界の変化は相互に影響
技術の進化
（プロダクト）
文明
現実世界の変化
（業務変革）
文化
相互に
影響

私が出会ったプロダクト
　　　　　　〜Tableauのケース
多くの人が考えていたジャンル：
BI(Business Intelligence)、エンタープライズレポーティング
↓
Tableauが標榜するコンセプト：
ビジュアル分析
↓
その結果新しく生まれたジャンル：
モダンBI　それから…？

私が出会ったプロダクト
　　　　　　〜Snowflakeのケース
多くの人が考えていたジャンル：
クラウドDWH
↓
Snowflakeが標榜するコンセプト：
データクラウド
↓
その結果新しく生まれるかもしれないジャンル：
データシェアリング？データ収益化？データのネットワーク？
データコラボレーション？　それから…？

データマネジメントを実現するには
自分が本質的にやりたいことを見失わないようにしながら
最新技術の「考え方・やり方」を取り入れ
常にアップデートしていく人間になること
また、そういう人が集まる組織を作ること
を　御　す　る　組　織

いいね！　お願いします
https://101.gg/kt

データリテラシー　導入編　12/15-17

Thank you!
@DATA_Saber
KT Channel
https://www.youtube.com/c/DATASaber

データマネジメント今昔物語〜プロダクトの視点から見るカオスと進化 #TechMar

More Related Content

What's hot

Recently uploaded

データマネジメント今昔物語〜プロダクトの視点から見るカオスと進化 #TechMar