Beginner must-see! A future that can be opened by learning Hadoop

初心者必見！
Hadoopを学び始めることで開ける未来
日本サード・パーティ株式会社
人財育成コンサルティング事業部
シニアデータエンジニア西口晃司
2018/10/16

Copyright © Japan Third Party Co., Ltd. All Rights Reserved.
自己紹介
3
 氏名西口晃司
 所属人財育成コンサルティング事業部
シニアデータエンジニア
 担当業務
データ活用コンサルタント/インストラクター
1000名以上の技術者を育成
 主な専門分野
Hadoop(Hortonworks/Cloudera/MapR)
MongoDB, Talend, Splunk, NVIDIA

直近の主な活動
4
 データサイエンティスト協会スキル委員会活動
 データ活用リテラシ研修の企画開発
 データ活用関連技術エンジニアの育成
 クラウドデータ基盤の設計、構築

セッションの対象
5
Hadoop を聞いたことがある。
Hadoop の今を知りたい。
Hortonworks Hadoop を知ってみたい。

アジェンダ
6
1. BigData の世界からみるデータ
2. Hadoop の進化
3. 事例紹介

1.BigData の世界からみるデータ

1-1.データは増え続ける
8
0
50
100
150
200
世界のデジタルデータ生成量
[ZB]
163ZB
44ZB
IoT、5 G がデータ量加速を後押し
本当のデータビックバンはこれから
（出典）総務省ＩＣＴコトづくり検討会議（2013年）
http://www.soumu.go.jp/main_content/000234279.pdf

1-2.データ活用モデル
9
（出典）The wisdom hierarchy:representations of the DIKW hierarchy（2006年）
https://unigis.at/schnuppermodul/modul_gisintro/html/lektion5/media/rowley-2007.pdf
知恵
知識
情報
生データ Data
Information
Knowledge
Wisdom
価値
未整理
整理・集計
分析・体系化
活用・判断

1-2.データ活用モデル
10
知恵
知識
情報
生データ
価値
未整理
整理・集計
分析・体系化
活用・判断
Amazon
S3

1-3.データ活用時代に求められる3つのスキル
11
ビジネス課題を整理して
解決するスキル
統計学や機械学習などの
情報科学を実践してデータを
価値あるものにするスキル
データを蓄積し、意味のあ
る形にするために実装した
り運用するスキル
（出典）
データサイエンティスト協会「データサイエンティスト協会、データサイエンティストの
ミッション、スキルセット、定義、スキルレベルを発表」（2014年）
http://www.datascientist.or.jp/news/2014/pdf/1210.pdf
エンジニアリングスキルデータサイエンススキル
ビジネススキル

1-4.エンジニアリングスキル
12
（出典）

1-4.エンジニアリングスキル～データを蓄積する技術～
13
知恵
知識
情報
生データ
価値
未整理
整理・集計
分析・体系化
活用・判断
Amazon
S3（出典）The wisdom hierarchy:representations of the DIKW hierarchy（2006年）

1-5.データサイエンススキル
14
（出典）

15
知恵
知識
情報
生データ
価値
未整理
整理・集計
分析・体系化
活用・判断

AI
16
データ活用度
(データ整理)
データアナリシス
・回帰/時系列分析
・クラスタ分析
・アソシエーション分析
ディープラーニング機械学習
・回帰/時系列分析
・クラスタ分析
・相関分析
・自然言語理解
・ランダムフォレスト
・ナイーブベイズ
データ可視化
データ整理
データ集計
従来の
データ分析
数値データのみ
多様なデータ
(数値、Text、
画像、動画、etc)
・販売/売上予測
・マッチング販売
・陳列の適正化
(ビジネス例)
・医療画像診断
・自動運転
・AIスピーカー
BA
R
自動データアナリ
シス(擬人化)
・販売予測
・故障予測
・陳列の適正化
・画像分類
・物体検出
・音声認識
・チャットボット
・コールセンタ支援
・与信支援
(ビジネス例) (ビジネス例) (ビジネス例)
IoT

2. Hadoop の進化

2-1.Hadoop おさらい
18
（出典）http://hortonworks.com/wp-content/uploads/2013/10/hadoopstack.png
使いやすさのニーズ
バッチ処理
高速処理のニーズ
インタラクティブクエリ処理
リアルタイムのニーズ
ストリームデータ処理

2-2.Hadoop比較
19
Hadoop
Apache
Hadoop準拠
Apache
Hadoop準拠
自社開発
データ格納 HDFS HDFS MapR-FS
拡張性 OSSと密に連携 OSSと密に連携
OSSと
連携可能
Apache Hadoop のコミッタの
約30%がHortonworks社メンバ
Apache Hadoop のコミッタの
約15%がCloudera社メンバ

2-3.Hortonworks が提供するプラットフォーム
20
～リアルタイム処理に注力～
• Hortonworks Data Platform (HDP)
「Apache Hdoop」や「Apache Spark」等の Hadoop エコシス
テムをベースにしたデータプラットフォーム
• Hortonworks DataFlow (HDF)
ストリーミングを実現する「Apache NiFi」や「Apache Kafka」、
「Apache Storm」をベースにしたリアルタイムデータ処理ソフ
トウェア

21
トウェア

2-4.Hortonworks Data Platform (HDP)

2-5.HDPで選択できるHadoopエコシステム

2-6.HDPでのHadoop

 Apache Hadoop に準拠しており最新機能を早く使える
 エコシステムを自由に組み合わせることができる
 Microsoft Azure HDInsight を利用することでクラウ
ド環境で HDP を簡単に使うことができる
2-7.Hortonworks Data Platform の特長

26
トウェア

2-9.Hortonworks DataFlow
簡単にデータフロー
を定義
簡単にデータの収集を実現
簡単にリアルタイム処理を実現
データから
新たな価値

2-10.Hortonworks DataFlow の特長
28
リアルタイム処理を実現
・常時連続実行
・データフロー管理
・処理時間ミリ秒～秒

3. 事例紹介

3-1.日産自動車株式会社様
30
 課題
✓ 走行データや品質データなどの長期保管
✓ サイロ化しているデータの統合
✓ 統一プラットフォームの必要性
 活用
✓ HDFS でデータレイクを実現
✓ Kafka で IoT データの収集を実現
✓ Spark で高速処理を実現

3-2.三菱ふそうトラック・バス株式会社様
31
 課題
✓ データ主導のビジネス変革
✓ 情報提供サービスの提供
 活用
✓ Storm でリアルタイム分析を実現
✓ HBASE でデータ格納/参照の高速処理を実現
✓ Spark で高速処理を実現

3-3. Hilton Hotels & Resorts 様
32
 課題
✓ 予約情報やプロファイルデータ
のサイロ化
✓ 一貫性のないデータ管理
✓ 顧客視点での分析が不十分
 活用
✓ NiFi でフローデータ処理を実現
✓ Kafka でデータの収集を実現
✓ Storm でリアルタイム処理を実現

3-4.Hadoopを取り巻く環境
33
 成熟してきたデータ活用
 IoT・５Gなどの関連技術の発展
 パブリッククラウドやオンプレミスなど選択肢
 Sparkをはじめとした新しい処理エンジンの登場
Hadoopが「難しい」から「誰でも簡単に使える」になりつつある。
再燃するHadoopブームに向け学びが必要

◆主要トレーニングメニュー◆
34
① HDP Operations: Administration Foundations
② HDP Administration II
③ HDF NiFi Flow Management
詳細は、
https://jp.hortonworks.com/services/training/
をご参照ください。

① HDP Operations: Administration Foundations
35
【概要】
Apache Hadoopクラスタを管理する必要のある管理者向けのコース
講義と実機による演習を通じ、Hadoopのインストール / 構成 /クラスター運用タスクについて理
解することができます。
Hadoopとビッグデータの連携や、実習を通じてHadoop開発のマルチノードクラスタにおけるラ
イフサイクルを理解することができます。
【言語】
講義：日本語
テキスト：英語
【詳細情報】
・https://jp.hortonworks.com/services/training/class/hdp-operations-administration-foundation/ (英語情報)
・https://edu.jtp.co.jp/archives/course_cpt/1568 (日本語情報)

② HDP Administration II
36
【概要】
このトレーニングコースは、Apache Hadoop2.xクラスタを管理する必要のある管理者向けの
コースです。
講義と実機による演習を通じ、Hadoop2.xのアップグレード / 構成 / アプリケーション管理 / そ
の他の基本タスクについて理解することができます。
Hadoopとビッグデータの連携や、実習を通じてHadoop開発のマルチノードクラスタにおけるラ
イフサイクルを理解することができます。
【言語】
講義：日本語
【詳細情報】
・https://jp.hortonworks.com/services/training/class/hdp-operations-hadoop-administration-2/ (英語情報)
・https://edu.jtp.co.jp/archives/course_cpt/1566 (日本語情報)

③ HDF NiFi Flow Management
37
【概要】
このトレーニングコースは、システム間のデータの流れを自動化できることが目的です。
講義と実機による演習を通じ、NiFiの紹介 / NiFiのインストールと設定 / NiFiユーザーインター
フェイスの詳細説明 / それぞれのコンポーネントと要素を理解することができます。また、HDP
と HDF の違いにも理解できます。
【言語】
講義：英語 (Virtual)
【詳細情報】
・ https://jp.hortonworks.com/services/training/class/hdp-operations-hortonworks-data-flow/ (英語情報)

(再掲) Hadoopを取り巻く環境
38
 成熟してきたデータ活用
 IoT・５Gなどの関連技術の発展
 パブリッククラウドやオンプレミスなど選択肢
 Sparkをはじめとした新しい処理エンジンの登場
Hadoopが「難しい」から「誰でも簡単に使える」になりつつある。
再燃するHadoopブームに向け学びが必要

〒140-0001 東京都品川区北品川4-7-35 御殿山トラストタワー14階
TEL.03-6408-2488（代表）
FAX.03-6859-4797
https://www.jtp.co.jp

アンケートのご協力のお願い

Beginner must-see! A future that can be opened by learning Hadoop

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Beginner must-see! A future that can be opened by learning Hadoop

Similar to Beginner must-see! A future that can be opened by learning Hadoop (20)

More from DataWorks Summit

More from DataWorks Summit (20)

Recently uploaded

Recently uploaded (16)

Beginner must-see! A future that can be opened by learning Hadoop