Submit Search
Upload
Watson summit 2016_j2_5
•
Download as PPTX, PDF
•
0 likes
•
760 views
T
Tanaka Yuichi
Follow
Watson summitでお話しした資料
Read less
Read more
Technology
Report
Share
Report
Share
1 of 35
Download now
Recommended
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
Tanaka Yuichi
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
Big datauniversity
Big datauniversity
Tanaka Yuichi
PythonでDeepLearningを始めるよ
PythonでDeepLearningを始めるよ
Tanaka Yuichi
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
Recommended
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
SparkとJupyterNotebookを使った分析処理 [Html5 conference]
Tanaka Yuichi
Apache Sparkを使った感情極性分析
Apache Sparkを使った感情極性分析
Tanaka Yuichi
Bluemixを使ったTwitter分析
Bluemixを使ったTwitter分析
Tanaka Yuichi
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
ApacheSparkを中心としたOSSビッグデータ活用と導入時の検討ポイント
Tanaka Yuichi
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
BigDataUnivercity 2017年改めてApache Sparkとデータサイエンスの関係についてのまとめ
Tanaka Yuichi
Big datauniversity
Big datauniversity
Tanaka Yuichi
PythonでDeepLearningを始めるよ
PythonでDeepLearningを始めるよ
Tanaka Yuichi
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Devsumi 2016 b_4 KafkaとSparkを組み合わせたリアルタイム分析基盤の構築
Tanaka Yuichi
Pysparkで始めるデータ分析
Pysparkで始めるデータ分析
Tanaka Yuichi
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Jjug ccc
Jjug ccc
Tanaka Yuichi
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
Tatsuya Atsumi
HBaseとSparkでセンサーデータを有効活用 #hbasejp
HBaseとSparkでセンサーデータを有効活用 #hbasejp
FwardNetwork
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
Spark GraphX で始めるグラフ解析
Spark GraphX で始めるグラフ解析
Yosuke Mizutani
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
x1 ichi
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
sugiyama koki
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
Takakiyo Tanaka
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
Yahoo Developer Network
More Related Content
What's hot
Pysparkで始めるデータ分析
Pysparkで始めるデータ分析
Tanaka Yuichi
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Tanaka Yuichi
Jjug ccc
Jjug ccc
Tanaka Yuichi
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
Tatsuya Atsumi
HBaseとSparkでセンサーデータを有効活用 #hbasejp
HBaseとSparkでセンサーデータを有効活用 #hbasejp
FwardNetwork
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
Apache Sparkの紹介
Apache Sparkの紹介
Ryuji Tamagawa
Spark GraphX で始めるグラフ解析
Spark GraphX で始めるグラフ解析
Yosuke Mizutani
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Kazutaka Tomita
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Future Of Data Japan
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
LINE Corp.
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
Katsunori Kanda
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
NTT DATA OSS Professional Services
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
Ryuji Tamagawa
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
Kazuki Taniguchi
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
x1 ichi
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
sugiyama koki
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Sotaro Kimura
What's hot
(20)
Pysparkで始めるデータ分析
Pysparkで始めるデータ分析
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
初めてのSpark streaming 〜kafka+sparkstreamingの紹介〜
Jjug ccc
Jjug ccc
Pythonで入門するApache Spark at PyCon2016
Pythonで入門するApache Spark at PyCon2016
HBaseとSparkでセンサーデータを有効活用 #hbasejp
HBaseとSparkでセンサーデータを有効活用 #hbasejp
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Apache Sparkの紹介
Apache Sparkの紹介
Spark GraphX で始めるグラフ解析
Spark GraphX で始めるグラフ解析
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
15.05.21_ビッグデータ分析基盤Sparkの最新動向とその活用-Spark SUMMIT EAST 2015-
Spark Summit 2015 参加報告
Spark Summit 2015 参加報告
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
データ活用をもっともっと円滑に!~データ処理・分析基盤編を少しだけ~
20160127三木会 RDB経験者のためのspark
20160127三木会 RDB経験者のためのspark
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
QConTokyo2015「Sparkを用いたビッグデータ解析 〜後編〜」
本当にあったApache Spark障害の話
本当にあったApache Spark障害の話
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Spark Streamingを使ってみた ~Twitterリアルタイムトレンドランキング~
Kafkaを活用するためのストリーム処理の基本
Kafkaを活用するためのストリーム処理の基本
Viewers also liked
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
Takakiyo Tanaka
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
Yahoo Developer Network
August 2016 HUG: Better together: Fast Data with Apache Spark™ and Apache Ign...
August 2016 HUG: Better together: Fast Data with Apache Spark™ and Apache Ign...
Yahoo Developer Network
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
hamaken
"総務も!!"アジャイルプラクティス!
"総務も!!"アジャイルプラクティス!
pupupopo88
August 2016 HUG: Recent development in Apache Oozie
August 2016 HUG: Recent development in Apache Oozie
Yahoo Developer Network
TensorFrames: Google Tensorflow on Apache Spark
TensorFrames: Google Tensorflow on Apache Spark
Databricks
Viewers also liked
(7)
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
クラウド、クラウドというけれどJavaのシステムにとってクラウドってメリットあるの?
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
August 2016 HUG: Open Source Big Data Ingest with StreamSets Data Collector
August 2016 HUG: Better together: Fast Data with Apache Spark™ and Apache Ign...
August 2016 HUG: Better together: Fast Data with Apache Spark™ and Apache Ign...
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
ちょっと理解に自信がないなという皆さまに贈るHadoop/Sparkのキホン (IBM Datapalooza Tokyo 2016講演資料)
"総務も!!"アジャイルプラクティス!
"総務も!!"アジャイルプラクティス!
August 2016 HUG: Recent development in Apache Oozie
August 2016 HUG: Recent development in Apache Oozie
TensorFrames: Google Tensorflow on Apache Spark
TensorFrames: Google Tensorflow on Apache Spark
Similar to Watson summit 2016_j2_5
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Junichi Noda
Spark SQL - The internal -
Spark SQL - The internal -
NTT DATA OSS Professional Services
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
Takuya UESHIN
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStack
VirtualTech Japan Inc.
SparkTokyo2019NovIshizaki
SparkTokyo2019NovIshizaki
Kazuaki Ishizaki
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Junichi Noda
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStack
Nobuyuki Tamaoki
Logic Apps/Flow Update Summary
Logic Apps/Flow Update Summary
Tomoyuki Obi
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Junichi Noda
de:code 2019 Cloud トラック 総まとめ!
de:code 2019 Cloud トラック 総まとめ!
Minoru Naito
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
x1 ichi
BIG DATA サービス と ツール
BIG DATA サービス と ツール
Ngoc Dao
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
MasashiOtsuka1
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Atsumori Sasaki
JAWSDAYS2016 Technical Deep DIVE
JAWSDAYS2016 Technical Deep DIVE
陽平 山口
Apache Spark + Arrow
Apache Spark + Arrow
Takeshi Yamamuro
OpenVINOとAzure こう連携できるのでは?
OpenVINOとAzure こう連携できるのでは?
Hiroshi Ouchiyama
Azure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーション
Masashi Shinbara
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
Nobuyuki Tamaoki
Similar to Watson summit 2016_j2_5
(20)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark SQL - The internal -
Spark SQL - The internal -
Deep Dive into Spark SQL with Advanced Performance Tuning
Deep Dive into Spark SQL with Advanced Performance Tuning
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStack
SparkTokyo2019NovIshizaki
SparkTokyo2019NovIshizaki
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
OSSのクラウド基盤 OpenStack / CloudStack
OSSのクラウド基盤 OpenStack / CloudStack
Logic Apps/Flow Update Summary
Logic Apps/Flow Update Summary
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
Spark Streaming と Spark GraphX を使用したTwitter解析による レコメンドサービス例
de:code 2019 Cloud トラック 総まとめ!
de:code 2019 Cloud トラック 総まとめ!
Sparkを用いたビッグデータ解析 〜 前編 〜
Sparkを用いたビッグデータ解析 〜 前編 〜
BIG DATA サービス と ツール
BIG DATA サービス と ツール
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
SAP Inside Track 2018 LT資料「ABAPerが触ってきた SAP Cloud PlatformのABAP環境 」
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
Watsonをささえる ハイパフォーマンスクラウドで はじめるDeep Learning
JAWSDAYS2016 Technical Deep DIVE
JAWSDAYS2016 Technical Deep DIVE
Apache Spark + Arrow
Apache Spark + Arrow
OpenVINOとAzure こう連携できるのでは?
OpenVINOとAzure こう連携できるのでは?
Azure Websites で作るスケーラブルな PHP アプリケーション
Azure Websites で作るスケーラブルな PHP アプリケーション
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
OpenStack最新動向と構築のポイント - EMC様セミナー 「あなたのビジネスを高速化! OpenStackが実現する戦略的なクラウドインフラ」
Recently uploaded
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
Recently uploaded
(8)
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Watson summit 2016_j2_5
1.
高速で柔軟なアナリティクス基盤が 企業をアジャイルに進化させる ~Sparkの活用 IBM Analytics事業部 Yuichi Tanaka 【J-2】
2.
自己紹介 著書: • 詳解Apache Spark
: http://www.amazon.co.jp/o/ASIN/4774181242/gihyojp-22 Acknowledge: • Spark: Big Data Cluster Computing in Production : http://www.amazon.com/dp/1119254019/ref=cm_sw_su_dp 連載記事: • ゼロから始めるSparkアプリケーション入門:http://codezine.jp/article/detail/9347 • リリースフロー自動化ガイド:http://codezine.jp/article/detail/9059 特集記事: • Kafka + Streaming :http://codezine.jp/article/detail/9311 • Intel様 : http://www.intel.co.jp/content/www/jp/ja/big-data/xeon-e5-big-data-dmmcom-labo-study.html • Cloudera様:http://www.cloudera.co.jp/customers/dmm.html IBM: • Ascii : http://ascii.jp/elem/000/001/161/1161605/ • ZDNet :http://japan.zdnet.com/article/35082445/ ナレッジベース • Spark使ったリアルタイムレコメンド:http://event.shoeisha.jp/devsumi/20150219/session/642/ • Spark+Kafka:https://prezi.com/7pghgbqbn70o/dmmcomsparkkafka/ • データ収集基盤の構築:https://prezi.com/an2frel_xvyl/dmm/ • リアルタイムレコメンド:https://prezi.com/iz1d_sefm1q9/dmmcom-dmm-spark/ • 初めてのSpark刊行記念イベント:http://cloudera.connpass.com/event/18857/ アワード: • デブサミアワード:http://codezine.jp/article/detail/8756 Contributes: • Aerospike : http://www.aerospike.com/launchpad/
3.
自己紹介 田中裕一(tanaka.y.p) 詳解Apache Spark
4.
お断り
5.
高速で柔軟なアナリティクス基盤 「高速で柔軟なアナリティクス基盤」とはトライアル要素の強いビッ グデータ分野において失敗(ゴミ箱化)するリスクを最小化する為に 問題提起・リサーチ・検証・モデル化・テストの一連の流れを高速に 回し小さな失敗を積み上げ、データ(資産)からの価値抽出を最大化 していくという価値観のもと、データに対するトライ&エラーの速度 と柔軟性を最大化する基盤のこと。その為のチーム、基盤、データが あり企業のデータ(資産)価値を最大化させること。
6.
高速で柔軟なアナリティクス基盤 「高速で柔軟なアナリティクス基盤」とはトライアル要素の強いビッ グデータ分野において失敗(ゴミ箱化)するリスクを最小化する為 に問題提起・リサーチ・検証・モデル化・テストの一連の流れを高速 に回し小さな失敗を積み上げ、データ(資産)からの価値抽出を最大 化していくという価値観のもと、データに対するトライ&エラーの速 度と柔軟性を最大化する基盤のこと。その為のチーム、基盤、データ があり企業のデータ(資産)価値を最大化させること。
7.
アナリティクス基盤における失敗 なぜゴミ箱化するのか? ・データが集められないケース ・目的に特化しすぎケース ・分析結果が生きないケース
8.
データが集められない ? 個人情報 何のデータがある? データはそれだけ? セキュリティポリシ
9.
目的に特化しすぎ 〇〇がやりたい! 特定の専門家だけのチーム ガチガチな設計 Engineers!
10.
分析結果が生きない 見たいときに見れない 分析結果が連携できない ナレッジが共有されない
11.
高速で柔軟なアナリティクス基盤 「高速で柔軟なアナリティクス基盤」とはトライアル要素の強いビッ グデータ分野において失敗(ゴミ箱化)するリスクを最小化する為に 問題提起・リサーチ・検証・モデル化・テストの一連の流れを高速 に回し小さな失敗を積み上げ、データ(資産)からの価値抽出を最大 化していくという価値観のもと、データに対するトライ&エラーの速 度と柔軟性を最大化する基盤のこと。その為のチーム、基盤、データ があり企業のデータ(資産)価値を最大化させること。
12.
アナリティクスチームのロール Engineer Scientist Business Analyst 1. ソフトウェア開発 2. 基盤構築運用管理 3.
自動化 1. 数学的なバックグラウンド 2. 分析を行う 3. DBの経験 1. 業界への分析適用 2. ビジネス視点 3. コミュ力
13.
一連のフロー 問題提起 リサーチ 検証モデル化 テスト
14.
問題提起 問題提起 課題の設定 • 経営課題や部門の課題から作成すると良い 課題に対す る仮説 • どうすれば改善できるのか? 効果計測の 設定 •
何を持って達成なのか指標の設定
15.
リサーチ リサーチ データの把 握 • 必要なデータは何か、どこにあるのか チェック・ 準備 • データをどう持ってくるのか、そのまま使えるのか 編集 •
分析できる形にデータを編集
16.
検証 検証 モデル作成 • 実際の処理の作成 評価 • 作成したモデルが実際に利用できるか 実装 •
出来上がったモデルをプログラムにする
17.
テスト テスト モデル適用 • 実際のデータに適用してみる 評価 • 実際のデータでの運用結果の評価
18.
チームまとめ • ロールを意識したチームを作りましょう • フローを意識するとゴールがブレにくいです。 •
何を解決したいのか意識できるようにしましょう • データの全体把握は重要です。 • テストやりましょう、いきなり全体を差し替えてはいけません。
19.
高速で柔軟なアナリティクス基盤 「高速で柔軟なアナリティクス基盤」とはトライアル要素の強いビッ グデータ分野において失敗(ゴミ箱化)するリスクを最小化する為に 問題提起・リサーチ・検証・モデル化・テストの一連の流れを高速に 回し小さな失敗を積み上げ、データ(資産)からの価値抽出を最大化 していくという価値観のもと、データに対するトライ&エラーの速度 と柔軟性を最大化する基盤のこと。その為のチーム、基盤、データが あり企業のデータ(資産)価値を最大化させること。
20.
基盤は何を提供すべきか? • データを溜める方法 • データを収集する方法 •
データを分析する方法 • データを提供する方法 • データを可視化する方法 • これらを効率よく回す方法
21.
データを溜める方法 Hadoop(HDFS/YARN)
22.
データを収集する方法 Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT
23.
データを分析する方法 Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT batchMicro batch Streaming SPSS
24.
データを可視化する方法 Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT batchMicro batch Streaming Cognos SPSS
25.
データを可視化する方法 Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT batchMicro batch Streaming Cognos SPSS
26.
これらを回す方法 Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT batchMicro batch Streaming SPSS Cognos
27.
基盤のまとめ Hadoop(HDFS/YARN) 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT batchMicro batch Streaming SPSS Cognos
28.
ETLはどこでやるべきか? 基幹データ 顧客データ 購買データ データベース 従来型のデータ ソーシャルデータ
オープンデータ 新しいデータ センサーデータ IoT Short term storage システム境界をKafkaで区切ることで お互いの作業は非同期に行える 他システム側の作業負荷を下げることで 協力的な態度を得られやすい 後方のシステムときりなはされる為 障害についての考慮事項が減る 結果データが集めやすい
29.
セキュリティの切り分け Hadoop(HDFS/YARN) batchMicro batch Streaming SPSS Cognos 役割ごとにツールを提供することで アクセス制御を綺麗に行うことができる データもHadoopに入る前にマスキング化を 行うことで、センシティブなデータを管理 しない方法も一つの手
30.
ナレッジをどう共有していくのか Notebookを使って処理とコメントを分析単位に パッケージwikiなどで共有する
31.
マイクロサービス化を行うべき Hadoop(HDFS/YARN) batchMicro batch Streaming SPSS Cognos API API API データ提供を行う際、マイクロサービス化 しておくと組み合わせでの利用ケースも 増やしやすい データ提供の層で関連性を疎結合化することで メンテナンス性を向上させる
32.
ラムダアーキテクチャ化も可能 Hadoop(HDFS/YARN) batchMicro batch Streaming スピードレイヤ バッチレイヤ
33.
まとめ 「高速で柔軟なアナリティクス基盤」とはトライアル要素の強いビッ グデータ分野において失敗(ゴミ箱化)するリスクを最小化する為 に問題提起・リサーチ・検証・モデル化・テストの一連の流れを高 速に回し小さな失敗を積み上げ、データ(資産)からの価値抽出を最 大化していくという価値観のもと、データに対するトライ&エラーの 速度と柔軟性を最大化する基盤のこと。その為のチーム、基盤、 データがあり企業のデータ(資産)価値を最大化させること。
34.
35.
ワークショップ、セッション、および資料は、IBMまたはセッション発表者によって準備され、それぞれ独自の見解を反映したものです。それらは情報提供の目的のみで提供されており、いかなる参加者に対しても法律的また はその他の指導や助言を意図したものではなく、またそのような結果を生むものでもありません。本講演資料に含まれている情報については、完全性と正確性を期するよう努力しましたが、「現状のまま」提供され、明示また は暗示にかかわらずいかなる保証も伴わないものとします。本講演資料またはその他の資料の使用によって、あるいはその他の関連によって、いかなる損害が生じた場合も、IBMは責任を負わないものとします。 本講演資料に 含まれている内容は、IBMまたはそのサプライヤーやライセンス交付者からいかなる保証または表明を引きだすことを意図したものでも、IBMソフトウェアの使用を規定する適用ライセンス契約の条項を変更することを意図し たものでもなく、またそのような結果を生むものでもありません。 本講演資料でIBM製品、プログラム、またはサービスに言及していても、IBMが営業活動を行っているすべての国でそれらが使用可能であることを暗示するものではありません。本講演資料で言及している製品リリース日付や 製品機能は、市場機会またはその他の要因に基づいてIBM独自の決定権をもっていつでも変更できるものとし、いかなる方法においても将来の製品または機能が使用可能になると確約することを意図したものではありません。 本講演資料に含まれている内容は、参加者が開始する活動によって特定の販売、売上高の向上、またはその他の結果が生じると述べる、または暗示することを意図したものでも、またそのような結果を生むものでもありません。 パフォーマンスは、管理された環境において標準的なIBMベンチマークを使用した測定と予測に基づいています。ユーザーが経験する実際のスループットやパフォーマンスは、ユーザーのジョブ・ストリームにおけるマルチプ ログラミングの量、入出力構成、ストレージ構成、および処理されるワークロードなどの考慮事項を含む、数多くの要因に応じて変化します。したがって、個々のユーザーがここで述べられているものと同様の結果を得られる と確約するものではありません。 記述されているすべてのお客様事例は、それらのお客様がどのようにIBM製品を使用したか、またそれらのお客様が達成した結果の実例として示されたものです。実際の環境コストおよびパフォーマンス特性は、お客様ごとに 異なる場合があります。 IBM、IBM ロゴ、ibm.com、[以下当該情報に関連し商標リスト中に掲載されたIBMブランドやIBMの製品名称があれば追加する]は、
世界の多くの国で登録されたInternational Business Machines Corporationの商標です。他の 製品名およびサービス名等は、それぞれIBMまたは各社の商標である場合があります。現時点での IBM の商標リストについては、www.ibm.com/legal/copytrade.shtmlをご覧ください。 Adobe, Adobeロゴ, PostScript, PostScriptロゴは、Adobe Systems Incorporatedの米国およびその他の国における登録商標または商標です。 IT Infrastructure LibraryはAXELOS Limitedの登録商標です。 インテル, Intel, Intelロゴ, Intel Inside, Intel Insideロゴ, Centrino, Intel Centrinoロゴ, Celeron, Xeon, Intel SpeedStep, Itanium, およびPentium は Intel Corporationまたは子会社の米国およびその他の国における商標または登録商標です。 Linuxは、Linus Torvaldsの米国およびその他の国における登録商標です。 PowerLinux is a trademark of International Business Machines Corp. The registered trademark Linux is used pursuant to a sublicense from LMI, the exclusive licensee of Linus Torvalds, owner of the mark on a world-wide basis. Microsoft, Windows, Windows NT および Windowsロゴは Microsoft Corporationの米国およびその他の国における商標です。 ITILはAXELOS Limitedの登録商標です。 UNIXはThe Open Groupの米国およびその他の国における登録商標です。 Cell Broadband Engineは、Sony Computer Entertainment, Inc.の米国およびその他の国における商標であり、同社の許諾を受けて使用しています。 JavaおよびすべてのJava関連の商標およびロゴは Oracleやその関連会社の米国およびその他の国における商標または登録商標です。 Linear Tape-Open, LTO, LTOロゴ, UltriumおよびUltriumロゴは、HP, IBM Corp.およびQuantumの米国およびその他の国における商標です。
Download now