SlideShare a Scribd company logo
Spark Conference Japan
開催にあたって
猿田浩輔 / Kousuke Saruta
(Apache Sparkコミッタ、NTTデータ)
Spark Conference Japan開催の背景
 昨今の日本でのSpark熱の高まり
• MeetupなどでのSparkに関連したトークの増加
• 日本語による情報源も増えてきた
‐ 書籍
‐ 雑誌 / Web記事
‐ ブログ記事
• Sparkへの日本人コントリビュータの増加
• すでに商用運用している例も多数
 多くの人たちが手探りでSparkを活用したり、開発に貢献している段階
• 取り組みを発信したい
• 活用のヒントを得たい
• Sparkの開発に携わっている
そんなみなさまのための、Spark Conference Japan
どのくらいの人がSparkに興味を持っているのか
• 70%の参加者が実際に利用中もしくは利用を検討している
• 12%の参加者はすでに本番環境で運用中
• うち6%は1年以上運用中
• 中には3年以上運用している方も
利用されているコンポーネント
※ 重複選択可能
※ いずれかのコンポーネントを利用している方451名を対象
• 55%以上の方がSpark SQL / DataFrameを利用
• 用途の分かりやすいMLlibやSpark Streamingも40%近い方
から利用されている
(人)
キーノート
Reynold Xin
Spark 2.0: What’s Next
須藤 武文
さくらインターネットが構築した、
Apache Sparkによる原価計算システム
事例セッション
13:45 – 14:20 / C会場 / 車田 篤史, 堤 崇行
リクルートライフスタイルの考えるストリームデータの活かし方
〜AWS + Kafka + Spark Streaming〜
14:30 – 15:05 / C会場 / 須藤 武文
さくらインターネットが構築した
Apache Sparkによる原価計算システムの仕組みとその背景
15:15 – 15:50 / D会場 / 鈴木 由宇, 土橋 昌
SparkによるGISデータを題材とした時系列データ処理
16:00 – 16-35 / D会場 /加嵜 長門
Hive on Sparkを活用した高速データ分析
テクニカルセッション
12:00 – 12:30 / C会場 / 猿田 浩輔
Apache Spark超入門(ランチセッション)
13:00 – 13:35 / C会場 / 草薙 昭彦
ストリーミングアーキテクチャ: StateからFlowへ
13:45 – 14:20 / D会場 / 石川 有
Spark Mllib Now and Beyond
15:15 – 15:50 / C会場 / Reynold Xin
Deep Dive into Project Tungsten
16:00 – 16:35 / C会場 / 石崎 一明
Exploiting GPUs in Spark
Spark Conference Japan 2016 実行委員会
 石川 有 (リクルートテクノロジーズ)
 井上 ゆり (サイバーエージェント)
 梅川 真人 (MapR Technologies)
 川崎 達夫 (Cloudera Japan)
 神田 勝規 (サイバーエージェント)
 木林 正光 (Cloudera Japan)
 草薙 昭彦 (MapR Technologies)
 近藤 和成 (クリエーションライン)
 猿田 浩輔 (NTTデータ)
 下垣 徹 (NTTデータ)
 蒋 逸峰 (Hortonworks Japan)
 Ippei Suzuki (クリエーションライン)
 添田 健輔 (リクルートテクノロジーズ)
 土橋 昌 (NTTデータ)
 濱野 賢一朗 (NTTデータ)
 平林 良昭 (MapR Technologies)
 松倉 健志 (MapR Technologies)
 三原 茂 (MapR Technologies)
 師岡 一成 (ブレインパッド)
 安田 忠弘 (クリエーションライン)
Enjoy
Spark Conference Japan 2016!

More Related Content

More from Hadoop / Spark Conference Japan

機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
Hadoop / Spark Conference Japan
 
What makes Apache Spark?
What makes Apache Spark?What makes Apache Spark?
What makes Apache Spark?
Hadoop / Spark Conference Japan
 
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practiceマルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
Hadoop / Spark Conference Japan
 
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたってHadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan
 
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Hadoop / Spark Conference Japan
 
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
Hadoop / Spark Conference Japan
 
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Hadoop / Spark Conference Japan
 
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
Hadoop / Spark Conference Japan
 
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
Hadoop / Spark Conference Japan
 
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
 
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Hadoop / Spark Conference Japan
 
The Future of Apache Spark
The Future of Apache SparkThe Future of Apache Spark
The Future of Apache Spark
Hadoop / Spark Conference Japan
 
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
Hadoop / Spark Conference Japan
 

More from Hadoop / Spark Conference Japan (13)

機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
機械学習、グラフ分析、SQLによるサイバー攻撃対策事例(金融業界)
 
What makes Apache Spark?
What makes Apache Spark?What makes Apache Spark?
What makes Apache Spark?
 
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practiceマルチテナント Hadoop クラスタのためのモニタリング Best Practice
マルチテナント Hadoop クラスタのためのモニタリング Best Practice
 
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたってHadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
Hadoop / Spark Conference Japan 2019 ご挨拶・開催にあたって
 
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
Apache Kudu Fast Analytics on Fast Data (Hadoop / Spark Conference Japan 2016...
 
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
The Evolution and Future of Hadoop Storage (Hadoop Conference Japan 2016キーノート...
 
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
Project Tungsten Bringing Spark Closer to Bare Meta (Hadoop / Spark Conferenc...
 
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
初めてのHadoopパッチ投稿 / How to Contribute to Hadoop (Cloudera World Tokyo 2014 LT講演資料)
 
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演)
 
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
A Deeper Understanding of Spark Internals (Hadoop Conference Japan 2014)
 
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
Mahoutによるアルツハイマー診断支援へ向けた取り組み (Hadoop Confernce Japan 2014)
 
The Future of Apache Spark
The Future of Apache SparkThe Future of Apache Spark
The Future of Apache Spark
 
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
HadoopとRDBMSをシームレスに連携させるSmart SQL Processing (Hadoop Conference Japan 2014)
 

Recently uploaded

生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
Osaka University
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
tazaki1
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
嶋 是一 (Yoshikazu SHIMA)
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
azuma satoshi
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
osamut
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 

Recently uploaded (7)

生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
生成AIがもたらすコンテンツ経済圏の新時代  The New Era of Content Economy Brought by Generative AI
 
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライドHumanoid Virtual Athletics Challenge2024 技術講習会 スライド
Humanoid Virtual Athletics Challenge2024 技術講習会 スライド
 
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
「進化するアプリ イマ×ミライ ~生成AIアプリへ続く道と新時代のアプリとは~」Interop24Tokyo APPS JAPAN B1-01講演
 
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobodyロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
ロジックから状態を分離する技術/設計ナイト2024 by わいとん @ytnobody
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMMハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
ハイブリッドクラウド研究会_Hyper-VとSystem Center Virtual Machine Manager セッションMM
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 

Spark Conference Japan 開催にあたって(Hadoop / Spark Conference Japan 2016 キーノート講演資料)

  • 1. Spark Conference Japan 開催にあたって 猿田浩輔 / Kousuke Saruta (Apache Sparkコミッタ、NTTデータ)
  • 2. Spark Conference Japan開催の背景  昨今の日本でのSpark熱の高まり • MeetupなどでのSparkに関連したトークの増加 • 日本語による情報源も増えてきた ‐ 書籍 ‐ 雑誌 / Web記事 ‐ ブログ記事 • Sparkへの日本人コントリビュータの増加 • すでに商用運用している例も多数  多くの人たちが手探りでSparkを活用したり、開発に貢献している段階 • 取り組みを発信したい • 活用のヒントを得たい • Sparkの開発に携わっている そんなみなさまのための、Spark Conference Japan
  • 4. 利用されているコンポーネント ※ 重複選択可能 ※ いずれかのコンポーネントを利用している方451名を対象 • 55%以上の方がSpark SQL / DataFrameを利用 • 用途の分かりやすいMLlibやSpark Streamingも40%近い方 から利用されている (人)
  • 5. キーノート Reynold Xin Spark 2.0: What’s Next 須藤 武文 さくらインターネットが構築した、 Apache Sparkによる原価計算システム
  • 6. 事例セッション 13:45 – 14:20 / C会場 / 車田 篤史, 堤 崇行 リクルートライフスタイルの考えるストリームデータの活かし方 〜AWS + Kafka + Spark Streaming〜 14:30 – 15:05 / C会場 / 須藤 武文 さくらインターネットが構築した Apache Sparkによる原価計算システムの仕組みとその背景 15:15 – 15:50 / D会場 / 鈴木 由宇, 土橋 昌 SparkによるGISデータを題材とした時系列データ処理 16:00 – 16-35 / D会場 /加嵜 長門 Hive on Sparkを活用した高速データ分析
  • 7. テクニカルセッション 12:00 – 12:30 / C会場 / 猿田 浩輔 Apache Spark超入門(ランチセッション) 13:00 – 13:35 / C会場 / 草薙 昭彦 ストリーミングアーキテクチャ: StateからFlowへ 13:45 – 14:20 / D会場 / 石川 有 Spark Mllib Now and Beyond 15:15 – 15:50 / C会場 / Reynold Xin Deep Dive into Project Tungsten 16:00 – 16:35 / C会場 / 石崎 一明 Exploiting GPUs in Spark
  • 8. Spark Conference Japan 2016 実行委員会  石川 有 (リクルートテクノロジーズ)  井上 ゆり (サイバーエージェント)  梅川 真人 (MapR Technologies)  川崎 達夫 (Cloudera Japan)  神田 勝規 (サイバーエージェント)  木林 正光 (Cloudera Japan)  草薙 昭彦 (MapR Technologies)  近藤 和成 (クリエーションライン)  猿田 浩輔 (NTTデータ)  下垣 徹 (NTTデータ)  蒋 逸峰 (Hortonworks Japan)  Ippei Suzuki (クリエーションライン)  添田 健輔 (リクルートテクノロジーズ)  土橋 昌 (NTTデータ)  濱野 賢一朗 (NTTデータ)  平林 良昭 (MapR Technologies)  松倉 健志 (MapR Technologies)  三原 茂 (MapR Technologies)  師岡 一成 (ブレインパッド)  安田 忠弘 (クリエーションライン)