Submit Search
Upload
インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)
•
0 likes
•
1,123 views
H
Hadoop / Spark Conference Japan
Follow
■インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (Cloudera World Tokyo 2014 LT講演資料)
Read less
Read more
Technology
Report
Share
Report
Share
1 of 9
Download now
Download to read offline
Recommended
SAS and Cloudera – Analytics at Scale
SAS and Cloudera – Analytics at Scale
Cloudera, Inc.
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
Hadoop / Spark Conference Japan
What makes Apache Spark?
What makes Apache Spark?
Hadoop / Spark Conference Japan
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Hadoop / Spark Conference Japan
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
Hadoop / Spark Conference Japan
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
Recommended
SAS and Cloudera – Analytics at Scale
SAS and Cloudera – Analytics at Scale
Cloudera, Inc.
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
Hadoop / Spark Conference Japan
What makes Apache Spark?
What makes Apache Spark?
Hadoop / Spark Conference Japan
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Hadoop / Spark Conference Japan
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
Hadoop / Spark Conference Japan
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Sparkによる GISデータを題材とした時系列データ処理 (Hadoop / Spark Conference Japan 2016 講演資料)
Hadoop / Spark Conference Japan
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Hadoop / Spark Conference Japan
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
Hadoop / Spark Conference Japan
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Hadoop / Spark Conference Japan
The Future of Apache Spark
The Future of Apache Spark
Hadoop / Spark Conference Japan
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
More Related Content
More from Hadoop / Spark Conference Japan
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Hadoop / Spark Conference Japan
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
Hadoop / Spark Conference Japan
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Hadoop / Spark Conference Japan
The Future of Apache Spark
The Future of Apache Spark
Hadoop / Spark Conference Japan
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
More from Hadoop / Spark Conference Japan
(10)
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Spark 2.0 What's Next (Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Apache Hadoop の現在と将来(Hadoop / Spark Conference Japan 2016 キーノート講演資料)
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
Hadoop / Spark Conference Japan 2016 ご挨拶・Hadoopを取り巻く環境
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
The Future of Apache Spark
The Future of Apache Spark
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
インメモリ/分散並列処理対応のビジネスインテリジェンス(BI)ソリューションでHadoopデータを活用する (ClouderaWorld Tokyo 2014 LT講演資料)
1.
Copyright © 2012,
SAS Institute Inc. All rights reserved. インメモリ・ビジュアルデータ探索&新世代BI製品 SAS®VisualAnalyticsのご紹介 SAS InstituteJapan株式会社 インメモリ/分散並列処理対応のビジネスインテリジェンス(BI) ソリューションでHadoopデータを活用する
2.
Copyright © 2012,
SAS Institute Inc. All rights reserved. In-Memoryテクノロジーを活用し、大量データ・ビッグデータに対する分析をアドホック に、ビジュアルに、容易に、超高速で実行し、その結果をモバイル環境で共有でき る、ハイパフォーマンス・ビジュアルデータ探索/ビジネス・インテリジェンス製品 全てのデータを一度に数秒で解析し、即座に結果を共有する SAS®VisualAnalyticsとは
3.
Copyright © 2012,
SAS Institute Inc. All rights reserved. モバイルBI •レポート閲覧用のモバ イル用アプリケーション デザイナー •Web/モバイル向けレポー ト/ダッシュボード作成 •アドホックなデータ探索/ 分析/発見 エクスプローラー 管理 •データロード/アンロード •セキュリティ設定 データクエリ作成 •複数テーブル間結合 •分析用データ準備 SAS®LASR™ANALYTIC SERVER インメモリー分析エンジン SAS®VisualAnalytics: コンポーネント ハブ •共通の入り口 •全ての機能にアクセス •役割に基づくビュー
4.
Copyright © 2012,
SAS Institute Inc. All rights reserved. インメモリー分析エンジン 廉価なブレードサーバーで、コスト パフォーマンス向上 ブレードサーバーを活用し、データ量 増加に柔軟な拡張で対応 Server Tier / Mid Tier Blade 1 Blade 5 Blade 4 Blade 3 Blade 2 ・・・ Memory Memory Memory Memory データをHDFSに均等分散配置後、 並列でメモリーへ高速ロード 各ノードで、大量データに対する 分析処理を超高速並列実行 同時解析項目数など、制限の無い インメモリー分析エンジン 正確な意思決定、的を得たアクショ ンの迅速化で成果を出す! Data Source ERP CRM SCM SFA Web ・・・ Oracle(Exadata) DB2 SQL Server Teradata Netezza Flat_file SAS®LASRANALYTIC SERVER HDFS HDFS HDFS HDFS HDFS HDFS HDFS Distributed版分散イメージ図 Hadoop
5.
Copyr i g
ht © 2012, SAS Ins t i tut e Inc . Al l r ights reser ve d . 一般的なBI環境とHadoop GENERAL BI ARCHITECTURE HDFS HDFS HDFS HDFS Hadoop Cluster Name Node Data Node 1 ・・ DWH BI Client BI Server BI Server インメモリ型 メモリー BI Client Hadoopからの データロードに 多くの時間を要する Data Node 2 Data Node 3 Data Node n
6.
Copyr i g
ht © 2012, SAS Ins t i tut e Inc . Al l r ights reser ve d . Asymmetric 並列高速ローディングSAS® LASR ANALYTIC SERVER HDFS HDFS HDFS HDFS Hadoop Cluster ・・ EP EP EP EP SAS LASR Analytic Server SAS Visual Analytics Client メモリー ・・ Root Node Worker Node 1 Name Node Data Node 1 Data Node 2 Data Node 3 Data Node n Worker Node 2 Worker Node 3 Worker Node n EP : SAS Embedded Processing メモリー メモリー メモリー LASR メモリー内へ のデータロード時間 を短縮 Asymmetric= Hadoopノード数と LASRノード数は 不一致でもOK *1 *2 Cloudera, Hortonworks に対応*2: Teradata, Pivotal, Oracle, SAP HANA 各クラスタにも対応 *1:
7.
Copyr i g
ht © 2012, SAS Ins t i tut e Inc . Al l r ights reser ve d . Hadoop とLASRの共存構成SAS® LASR ANALYTIC SERVER HDFS HDFS HDFS HDFS Hadoop Cluster ・・Name Node Data Node 1 Data Node 2 Data Node 3 Data Node n メモリー SAS LASR Analytic Server Root Node Worker Node 1 Worker Node 2 Worker Node 3 Worker Node n SAS Visual Analytics Client LASR メモリー内へ のデータロード時間 を最小化 メモリー メモリー メモリー Asymmetric= Hadoopノード数と LASRノード数は 不一致でもOK *1 *1:Cloudera, Hortonworks に対応
8.
Copyright © 2012,
SAS Institute Inc. All rights reserved. Hadoop内データの有効活用 HADOOP + SAS VA Hadoop導入済み 今後Hadoop導入検討中 Hadoopデータを簡単・ 高速に集計・分析し ビジュアライズしたい Hadoopに対する直接検索 (Hive等)で処理時間に不満が ある。もっと高速化したい HadoopデータをDWHに一旦格 納した上でBIツールで活用する 構成に課題や疑問をもっている。 HadoopCluster SAS LASR Analytic Server
9.
Copyright © 2012,
SAS Institute Inc. All rights reserved. www.SAS.com
Download now