10/30に行われたセミナー「Hadoop, Sparkを利用してビッグデータ処理を体験しよう（Bluemix編）」の資料です。 Hadoop, Sparkを利用してビッグデータ処理を体験しよう（Bluemix編） https://futureofdata.connpass.com/event/69038/

1. Hortonworks Data Platform
ハンズオンセミナー
Toshihiro Suzuki, Hortonworks

2. 2 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
自己紹介
鈴木 俊裕(すずき としひろ)
 普段はサポートチームで働いています
 Sr. Software Engineer, Breakfix
 Hadoop経験：大手Web企業
– Hadoop/Hiveを用いたログ解析基盤の開発・運用(5年)
– HBaseを用いたソーシャルグラフDBの開発・運用(3年)
 著書「HBase徹底入門」
 Twitter: @brfrn169

3. ハンズオン

4. 対象とするユースケース
• IoT (Internet of Things), Connected Car
• Elefante Wine Company
• ワインの会社
• 100台以上のトラックを持っていて配達に使っている
• トラックのデータを収集
• トラックにはセンサが付いている
• 位置情報とイベントのデータを記録し、データセンタに送信する
• Hadoopを使ってやりたいこと
• ドライバーのリスクファクタを計算することで、ドライバーの危険度を可視化したい

5. チュートリアル
• http://bit.ly/2yVHTCl
• LAB1: センサデータをHDFSに読み込ませよう
• LAB2: Hiveでデータ操作をしよう
• LAB3: Sparkでリスクファクタを算出しよう
• LAB4: Zeppelinでデータレポーティングをしよう

6. ハンズオン進め方
• 皆さんでLABを進めていただき、しばらくしたら私の方で進めていきます
• どんどん進めていきたい方は、そのまま進めていただいて構いません
• 進めていく中で、質問や途中で詰まってしまった等ありましたがお声がけく
ださい

7. LAB 1 – センサデータをHDFSに読み込ませよう
• サンプルデータのダウンロード
• geolocation.csv
• trucks.csv
• データをHDFSへアップロード
• パーミッションの設定

8. センサデータについて
• geolocation.csv - トラックから収集されたジオロケーションです。運転手ID、トラックの
場所、日付、時刻、イベント種類、速度などを示すレコードが含まれています。
• trucks.csv - リレーショナルデータベースからエクスポートされたデータです。トラックモデ
ル、運転手ID、トラックID、および集計されたマイレージ(燃費)に関する情報が含まれています。

9. LAB 2 – Hiveでデータを操作しよう
• Hiveテーブルの作成&ロード
• trucks
• geolocation

10. LAB 2 – Hiveでデータを操作しよう
• truck_mileageの作成
• lateral_viewの使用
• avg_mileageの作成
• 各トラックの平均燃費(mpg)
• DriverMileageテーブルの作成
• ドライバー毎の走行距離

11. LAB 3 – Sparkでリスクファクタを算出しよう
• リスクファクターを計算
• 合計走行マイル数/異常イベント数
• 合計走行マイル数
• LAB2で作ったDriverMileage
• 異常イベント数
• geolocationから作成
• リスクファクターの計算
• 合計走行マイル数と異常イベント数をジョイン
• ジョインしたテーブルから計算

12. LAB 4 – Zeppelinでデータレポーティングをしよう
• LAB 3で作成したriskfactorテーブルを使って、Zeppelinでデータを可視化する
• 棒グラフ、点グラフ