Submit Search
Upload
データ分析基盤について
•
5 likes
•
2,288 views
Yuta Inamura
Follow
企業におけるデータ分析基盤のための基礎情報をまとめました
Read less
Read more
Technology
Report
Share
Report
Share
1 of 18
Download now
Download to read offline
Recommended
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
Recommended
データ分析を支える技術 データ分析基盤再入門
データ分析を支える技術 データ分析基盤再入門
Satoru Ishikawa
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
リクルートライフスタイル流!分析基盤との賢い付き合い方
リクルートライフスタイル流!分析基盤との賢い付き合い方
Recruit Lifestyle Co., Ltd.
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
データ分析基盤、どう作る?システム設計のポイント、教えます - Developers.IO 2019 (20191101)
Yosuke Katsuki
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
データ基盤の従来~最新の考え方とSynapse Analyticsでの実現
Ryoma Nagata
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
クラウドDWHにおける観点とAzure Synapse Analyticsの対応
Ryoma Nagata
DMBOKをベースにしたデータマネジメント
DMBOKをベースにしたデータマネジメント
Kent Ishizawa
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
Satoru Ishikawa
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
Denodo
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
Yugo Shimizu
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Rakuten Group, Inc.
Data platformdesign
Data platformdesign
Ryoma Nagata
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
More Related Content
What's hot
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
Google Cloud Platform - Japan
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
Denodo
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
CData Software Japan
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
Tetsutaro Watanabe
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
Recruit Lifestyle Co., Ltd.
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
Tetsutaro Watanabe
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
Yugo Shimizu
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
Yugo Shimizu
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Rakuten Group, Inc.
Data platformdesign
Data platformdesign
Ryoma Nagata
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Recruit Technologies
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon Web Services Japan
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
株式会社MonotaRO Tech Team
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Denodo
What's hot
(20)
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
DeNA のデータ活用を支える BigQuery データの民主化とガバナンス強化の軌跡 | Google Cloud INSIDE Games & App...
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
データ仮想化を活用したデータ分析のフローと分析モデル作成の自動化のご紹介
グラフ構造のデータモデルをPower BIで可視化してみた
グラフ構造のデータモデルをPower BIで可視化してみた
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ分析基盤運⽤チームの 運⽤業務を改善してみた話
データ収集の基本と「JapanTaxi」アプリにおける実践例
データ収集の基本と「JapanTaxi」アプリにおける実践例
え!?データがオンプレにあるけどPower BI で BI したいの?
え!?データがオンプレにあるけどPower BI で BI したいの?
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
え!? Power BI の画面からデータ更新なんてできるの!? ~PowerApps カスタムビジュアルの可能性~
楽天がHadoopを使う理由
楽天がHadoopを使う理由
Data platformdesign
Data platformdesign
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
分析指向データレイク実現の次の一手 ~Delta Lake、なにそれおいしいの?~(NTTデータ テクノロジーカンファレンス 2020 発表資料)
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
Amazon S3を中心とするデータ分析のベストプラクティス
Amazon S3を中心とするデータ分析のベストプラクティス
全社のデータ活用を一段階上げる取り組み
全社のデータ活用を一段階上げる取り組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
アサヒのデータ活用基盤を支えるデータ仮想化技術
アサヒのデータ活用基盤を支えるデータ仮想化技術
Similar to データ分析基盤について
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
Precisely
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
Tetsu Kawata
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
Jun Kawahara
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
de:code 2017
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
Naoki (Neo) SATO
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
aiichiro
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
Takumi Kurosawa
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
Takatsugu Kobayashi
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
Denodo
ビッグデータ
ビッグデータ
Shigeru Kishikawa
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
Dennis Sugahara
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
NTT Software Innovation Center
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
Insight Technology, Inc.
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
Yahoo!デベロッパーネットワーク
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
Preferred Networks
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
Similar to データ分析基盤について
(20)
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
ビジネスファーストアプローチで、データガバナンス戦略を構築する方法
データ視点のit資産価値評価の検討(経営情報学会2014)
データ視点のit資産価値評価の検討(経営情報学会2014)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
新時代のITインフラ -技術トレンドとユーザー企業の構え- (20100512)
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
[DI12] あらゆるデータをビジネスに活用! Azure Data Lake を中心としたビックデータ処理基盤のアーキテクチャと実装
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
[de:code 2019 振り返り Night!] Data Platform
[de:code 2019 振り返り Night!] Data Platform
クラウドを活用した自由自在なデータ分析
クラウドを活用した自由自在なデータ分析
ビッグデータ時代にむけて/濱田 正彦
ビッグデータ時代にむけて/濱田 正彦
ビッグデータビジネスの捉え方
ビッグデータビジネスの捉え方
データファブリックによるトランザクションの速度でアナリティクスを提供
データファブリックによるトランザクションの速度でアナリティクスを提供
ビッグデータ
ビッグデータ
Big data harvardbusiessreview20121112
Big data harvardbusiessreview20121112
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
データ分析をビジネスに活かす!データ創出・活用から、分析、課題解決までのDX時代のデータ活用事例のご紹介 ~不揃いのデータとの格闘~
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
[C32] 正確でスピーディーな決断を促す、日立の高速データアクセス基盤~性能検証事例と活用効果~ by Taichi Ishikawa
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
データサイエンスを支える基盤とそのテクノロジー@WebDBフォーラム2015 #webdbf2015
基調講演:「多様化する情報を支える技術」/西川徹
基調講演:「多様化する情報を支える技術」/西川徹
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Recently uploaded
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NTT DATA Technology & Innovation
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
Recently uploaded
(8)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
NewSQLの可用性構成パターン(OCHaCafe Season 8 #4 発表資料)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
データ分析基盤について
1.
2018/07/19 稲村 勇太 データ分析基盤についての 基礎知識
2.
目次 2 1.基礎情報 2.データ分析基盤の構築事例
3.
基礎情報 3
4.
データ分析基盤とは 4 ビジネスを有利に進めるために 大量のデータを保管・分析する基盤 データ分析基盤 分析 売上 画像・動画データ 外部データ (天気、SNSなど) 分析 経営企画ユーザ部門
5.
データ分析基盤が必要になっている背景 5 データ分析基盤を構築する主な理由 ビッグデータ処理 データの価値化 PDCA サイクルの高速化 インターネットの発展や、スマート デバイス・IoTの普及に伴い、解析 対象となるデータが膨大に増加し ており、それに耐えうる処理基盤 が必要になっている。 企業内で活用できずに眠っている データや外部データを組み合わ せ、ビジネスに役立てるよう「価値 化」するため、各部門のデータを横 通しで解析できる基盤が必要に なっている。 市場の変化が激しい今、これまで 以上に高速にPDCAサイクルを回 し、業務改善・方針転換をする必 要があり、その意思決定をするた めの情報分析基盤が求められて いる。
6.
データ分析基盤の構成要素 6 データ分析基盤は 主に下記のような構成で構築されます Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI
7.
構築の流れ 7 ①現状データの調査 ②方針策定 ③データ構築 ④運用 既存のデータを調査し、 データの欠陥・重複状況を把握する 調査を踏まえ、データ状態の改善計画の立案/データ整備・ 業務改善方法/アプリ改修などの必要な対策を検討する 活用しやすい形にデータを整形(クレンジング) しながら、分析基盤を構築する 通常業務の中で、 汚れたデータを適宜クレンジングする コンサルティング SI
8.
構成例 8 AWSとGCPそれぞれの特性を活かした ハイブリッド構成 Strage (データ収集) DWH (アドホック分析用) DataMart (用途別データ) ETL (データ抽出・変換) アドホッククエリ BI AWS S3 AWS Redshift AWS
EMR AWS RDS ※上記構成はあくまで一例です。
9.
(参考)DataLake/DWH/DataMart 9 DataLake rawデータを蓄積・保存するストレージ。 将来どんな活用が出来るかは未知数だが、データ の形式や内容は問わず集積する。 各種ログ DWH (DataWareHouse) データレイクから必要な情報のみを抽出・集約した データの集まり。アドホック分析の際に用いる。 最終的なデータ利用者のためのデータの集まり。 DWHは大量データを分析には特化しているが、1度 に多くのリクエストに対して同時に処理することには 不向きなので、それぞれの利用者にあわせたデー タウェアハウスデータの集出・集約結果を登録する 必要がある。 DataMart
10.
(参考)各種パブリッククラウドの機能比較一覧 10 AWS GCP Azure
Alibaba Cloud IBM Cloud Object Strage Amazon S3 Cloud Storage ・Azure Strage ・Data Lake Store OSS IBM Cloud Object Storage - - - - - ETL ・Amazon Glue ・AWS DataPipeline ・DataFlow ・CloudDataPREP DataFactory DataWorks (DataIntegration) IBM Data Connect ETL処理を支援する フレームワークサービス ストリーミング処理に強み - 帯域幅の設定まで可能 - DWH Amazon Redshift BigQuery Azure SQL Data Warehouse ・HybridDB ・MaxCompute Db2 Warehouse on Cloud 導入事例が豊富 データを保存するだけなら ほぼ無料で使える インスタンスの一時停止が可 能 下記DataWorksとセットで 利用することを想定 超並列処理(MPP)により スケーラビリティを実現 アドホッククエリ Amazon Athena BigQuery Azure Data Lake Analytics DataWorks ・Knowledge Catalog S3に対するクエリも可能 RedShiftより高速に実行可能 - 使いやすいUIもセットで 提供可能な点が強み 厳密な意味でのアドホックサー ビスではない(BI機能一部) DataMart ・Amazon RDS ・DynamoDB ・Cloud SQL ・Cloud DataStore ・Azure SQL Database ・DocumentDB ・RDS ・OTS ・Cloudant NoSQL DB ・Compose系 MySQL PostgreSQL RabbitMQ 他と大差なし 他と大差なし 他と大差なし 他と大差なし OSS系DBのクラウド版 BI Amazon QuickSight DataStudio Azure PowerBI ・DataV ・QuickBI Knowledge Catalog モバイルでも利用可能 リアルタイム分析には不向き モバイルでも利用可能 QuickBIは主に アドホック分析に用いる データストア、 解析の統合環境 IaaSだけでなくPaaSとしての機能比較もした上で それぞれの特性を活かした基盤構築が必要
11.
データ分析基盤の構築事例 11
12.
無印良品さん-AWS,TreasureData 12 出典は下記URL。2014年の記事なので少し古いです。 http://ascii.jp/elem/000/000/890/890206/index-2.html https://www.treasuredata.co.jp/customers/muji/
13.
あきんどスシローさん-AWS,TreasureData 13 出典は下記URL。 https://aws.amazon.com/jp/solutions/case-studies/akindo-sushiro/
14.
Rettyさん-AWS,GCP,TreasureData 14 出典は下記URL。 https://speakerdeck.com/chie8842/karamunahuomatutofalsekihon-2 AWS EC2 TreasureDate AWS RDS AWS
DataPipeline AWS Kinesis AWS DataPipeline AWS RDS GCP Big Query GCP Cloud Strage GCP Cloud Strage fluented
15.
リクルートライフスタイルさん-AWS,GCP 15 出典は下記URL。設計思想も明かしてくれており、参考になります。 https://www.slideshare.net/RecruitLifestyle/ss-84149204 https://engineer.recruit-lifestyle.co.jp/techblog/2017-08-07-how-to-load-data-into-bigquer/ GCP DataFlow
16.
ドリコムさん-AWS,TreasureData 16 出典は下記URL。TD,GCP,AWSの比較もあります。 https://tech.drecom.co.jp/migrate-to-treasure-data-and-aws/
17.
参考URL 17 1)基礎から始めるDB入門セミナー(基礎の基礎) http://www.oracle.com/technetwork/jp/articles/index-155234-ja.html 2)AWSのデータ分析入門 https://d0.awsstatic.com/events/jp/2017/summit/slide/D4T3-2.pdf 3)分析基盤の導入に不可欠なデータ統合の進め方 https://enterprisezine.jp/dbonline/detail/10085
18.
EOF 18
Download now