Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック（MDS）について
Similar to 各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック（MDS）について (20)
各種SaaSやSNSデータの収集、蓄積、可視化を爆速で実現するモダンデータスタック（MDS）について
- 2. 2 自己紹介 • 兼本侑始（かねもとゆうじ） • アライアンス統括部 • テクニカルグループ • プリセールススペシャリスト 兼 マネージャ • 昨年、保護猫兄妹を受け入れました
- 3. モダンデータスタック（MDS）とは？ クラスメソッドが提案するクラウドを活かした データプラットフォームのアーキテクチャ ● パートナーエコシステムがあるからスムーズな連携が可能に ● クラウドネイティブでフルマネージドなので運用負荷削減！自動化も実現 ● 数クリックでデータ分析環境の準備完了 3
- 4. ビジネスインテリジェンス（BI）使ってますか？ 4 ● Tableau ● Microsoft PowerBI ● QlikView ● etc… ● Microsoft Excel レポートやダッシュボード作成が属人化していませんか？
- 8. ビジネス ユーザー データマート 分析結果 DWH データ定義 ビジネス ユーザー データマート 分析結果 データ定義 ビジネス ユーザー データマート 分析結果 データ定義 営業部 財務部 マーケティング部 変換 可視化 8 組織のビジネス要件に合わせてデータモデルを作成 抽出
- 9. 9 BIで集計や計算をする ● メリット ○ 足りないデータを補完できる ○ 柔軟な可視化を実現できる ○ etc… ● デメリット ○ 同じデータを使用しても、分析者毎に可視化した内容が違う （場合がある） ○ GUI操作による変更履歴が残らない ○ パフォーマンス低下を引き起こす可能性がある ○ etc…
- 11. “LookMLは、SQLの代用ではなく、SQLの進化における次のステップです。SQLの長所であるパワーと柔軟性はそ のままに、いくつかの短所を克服しています。SQLのプログラミング言語としての価値を活用することで、アナリスト は低レベルでの懸念事項にとらわれず、本来の分析作業に専念できます” SQLを使用する際に生じる課題解決のためLooker独自のモデリング言語として開発 LookMLは以下の特長を備える • 再利用可能 • コラボレーションに対応 • フレキシブル • 系統的 • 管理が容易 11 データモデリング - LookML(Modeling Language)
- 12. 共通の指標 | 権限の管理 | gitでのバージョン管理 | セキュアの担保 | 100%CloudのSaaS型提供 堅牢な プラットフォーム 企業が活用する 様々なデータ 快適なデータエクス ペリエンスを提供 可視化・分析を行う Business Intelligenceツール シームレスにデータを 後続のワークフローへ展開 自社アプリに 組み込んで活用 他社向けサービスに埋め込み BIとして活用 SFAなど他のSaaSツール画面への表示 iFrameで自社ポータルサイトなどへ配置 API連携による柔軟な開発 メール等でレポートを配信 動的なアラーム実行 機械学習/AIのワークフローにデータを送信 SQL 結果 データ ウェア ハウス データプラットフォーム「Looker」 Looker データプラットフォーム 12
- 14. 14 従来のデータウェアハウス ● データサイズとパフォーマンスに基づいたリソース設計 ● すべてのデータを集約するにはリソースの追加が必要 ● ETLツールなどで集計済みのデータを集約 ● 粒度の異なるデータを使用するには、最適なリソース サイジングとETLジョブの再設計が必要
- 16. © 2020 Snowflake Inc. All Rights Reserved Data Science Data Transformation Marketing Analytics / Reporting / BI Data Load Structured & Semi-Structured Functional Architecture L L XS S Finance App M
- 17. © 2020 Snowflake Inc. All Rights Reserved Marketing Analytics / Reporting / BI M L XS S Data Transformation Data Load Structured & Semi-Structured Finance App Data Science Functional Architecture L XL
- 18. © 2020 Snowflake Inc. All Rights Reserved S XS Data Transformation Data Load Structured & Semi-Structured Finance App L Data Science Functional Architecture XL M M Marketing Analytics / Reporting / BI
- 19. © 2020 Snowflake Inc. All Rights Reserved M M Marketing Analytics / Reporting / BI S XS Data Transformation Data Load Structured & Semi-Structured Finance App L Data Science Functional Architecture XL
- 20. © 2020 Snowflake Inc. All Rights Reserved M M S XS Marketing Analytics / Reporting / BI Data Transformation L Data Load Structured & Semi-Structured L Finance App Functional Architecture Secure Sharing & Collaboration Data Exchange Your Business Ecosystem Your Employees M Snowflake Data Marketplace
- 21. © 2020 Snowflake Inc. All Rights Reserved M M S XS Secure Sharing & Collaboration Data Exchange Your Business Ecosystem Your Employees M Snowflake Data Marketplace Marketing Analytics / Reporting / BI Data Transformation Data Load Structured & Semi-Structured Finance App L Functional Architecture Clone Test/Dev M
- 22. 22 データシェアリング ● 所有データを低コストで共有 ● マネタイズも可能に！ ウェザーニュース社： 2018年1月以降の過去天気データについて、気温、風 速、降水量など全11要素を1kmメッシュの高解像度で提供 truestar社：国勢調査のデータをSnowflake データマーケットプレイス上で共有
- 23. デモ 23 ● Snowflake ○ アクセス ○ データシェアリング ● Looker ○ モデリング ○ データ可視化
- 25. 25 データソース ● データベース ○ Oracle ○ Microsoft SQL Server ○ PostgreSQL… ● SaaS ○ Salesforce ○ Google Analytics ○ Twitter… ● ローカルファイル ○ MS Excel ○ CSV…
- 27. 27 複数サイトやチャネルの情報を集約（人力） ● 手集計によるミス ● 作業の属人化 ● いつの間にか項目が増えてる ● このファイルは最新なのか問題
- 29. API固有の作法を把握する必要がある • 認証方法 • コマンド • 応答データのデータ型 • 一度に取得可能なデータ量、レコード件数 • データ間のリレーション • API仕様のアップデート 29
- 31. データの 抽出 一般的に、リソースの約40%をメン テナンスに費やしているといわれ ています。 ✗ スキーマの変更 ✗ スキーマの移行 ✗ データの差分更新 ✗ 障害の復旧 1 抽出完了の 確認 2 データの 整形 3 データの 正規化 4 整合性の 確認 5 DWHに 保存 ? データ収集は手間がかかる！（開発者目線） 6 31
- 34. ● フルマネージドなデータパイプライン サービス ● メンテナンスレス ● コーディングレス ● 175種以上のネイティブコネクタ ● サービスのスキーマも定義済み データパイプラインサービス「Fivetran」 34