IoT縛りの勉強会! IoTLT vol.17 で発表した資料です。

1. Apache NiFi で
楽して、つながる、広がる
IoTプロジェクト
河村 康爾
Hortonworks Japan Co., Ltd. ソフトウェアエンジニア
2016.07.19
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

2. ⾃⼰紹介
• 河村 康爾
- Hortonworks DataFlow Team – Software Engineer
- @ijokarumawak
- HadoopやNoSQLなど分散アプリケーションを利⽤したシステム開発を経
験、Apache NiFiがOSSとして公開されて間もない頃にコントリビュートし
たプルリクエストが契機となりHortonworksにエンジニア枠で⼊社、⽇本
勤務。
- 共著: 「RDB技術者のためのNoSQLガイド」秀和システム
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

3. Apache NiFiとは
” NiFi is like digging irrigation ditches as the water flows, rather than
building out a sprinkler system in advance."
“NiFiは事前にスプリンクラーを配備するというより、
⽔が流れるのに合わせて⽤⽔路を整備するようなもんさ”
https://mail-archives.apache.org/mod_mbox/nifi-users/201604.mbox/%3C2FCCBD60-0A79-42F1-9F9B-A121591C826E@apache.org%3E
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

4. 直感的なGUI、ブラウザApp
©Hortonworks Inc, 2011 – 2016. All Rights Reserved
１.⽬的に合ったプロ
セッサを追加して
2.データの流れを
つなげて
3.実⾏するだけ!

5. IoTに最も適した
データフローオーケストレーションツール
• 他のストリーミングソリューションと⽐較すると、Apache NiFiは2015年7
⽉にASFのTLPになった⽐較的新しいプロジェクト
• Enterprise Integration Pattern (EIP)やFlow Based Programingをベースにしてい
る
• データフローを設計するための⾮常に直感的なGUIを持つ
• 急成⻑中のインダストリアルIoT分野では、堅牢で信頼でき、セキュアな
データフローエンジンが求められる
• Apache NiFiはIoTの実現において、最も適したセンサーデータ処理⽤オーケ
ストレーションツールになりうる
• Node-Redのような簡潔さと、Big Dataのパワーを併せ持つ
• 原⽂ All the Apache Streaming Projects: An Exploratory Guide
http://thenewstack.io/apache-streaming-projects-exploratory-guide/

6. 各種プロセッサ取り揃えてあります
ambari, amqp, avro, aws, azure, cassandra, couchbase, elasticsearch,
flume, geo, hadoop, hbase, hive, hl7, jms, kafka, kerberos, kite, ldap,
mongodb, mqtt, riemann, twitter, solr, splunk, sql, spark, storm … etc
その数100以上!
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

7. NiFi Data Flow
データフロー例
MQTT topic
MQTT topic
©Hortonworks Inc, 2011 – 2016. All Rights Reserved
IoT
デバイス
Consume
MQTT
Publish
MQTT
Kafka topic
Database
Hadoop
Put
HDFS
Publish
Kafka
Put
SQL
API
Invoke
HTTP
MiNiFiも併⽤すると、よりエッジ側での
データ収集、エージェント管理が可能に、
Java、C++

8. お知らせ
http://hadoopsummit.org/tokyo/

9. 実演タイム
Live Demo
©Hortonworks Inc, 2011 – 2016. All Rights Reserved

10. Fin.
ご清聴ありがとうございました。
©Hortonworks Inc, 2011 – 2016. All Rights Reserved