Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Apache NiFi 流れるデータにもスキーマを

1,799 views

Published on

2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。
https://futureofdata.connpass.com/event/60300/

Published in: Engineering

Apache NiFi 流れるデータにもスキーマを

  1. 1. Apache NiFi 流れるデータにもスキーマを 河村 康爾
  2. 2. 自己紹介 • Software Engineer @ Hortonworks • Apache NiFi PMC • 最近はApache AmbariやApache Atlasなどにも興味あり • @ijokarumawak
  3. 3. 免責事項/Disclaimer • 本資料の内容は2017/8/4現在のApache NiFiプロジェクトmaster ブランチ(1.4.0-SNAPSHOT)を元に記載されており、一部未リリー スの機能を含みます、該当部分にはその旨を明記してあります。 • This slide is written based on the contents in the master branch (1.4.0-SNAPSHOT) of Apache NiFi project as of Aug 4th 2017, and contains components those are not officially released yet.
  4. 4. よくあるNiFiの利用例 クラウド オブジェクトストレージ ストリーミング 処理エンジン 多種多様なプロトコル データフォーマット オンプレ/クラウド 地理的分散 さらにエッジ寄り
  5. 5. Record Reader/Writerの登場 Controller Service: Record Reader Avro, CSV, Grok, Json, Scripted Controller Service: Record Writer Avro, CSV, FreeFormText, Json, Scripted Processorの内部では 共通のRecordとして扱える USE USE 個別のフォーマット変換、ConvertXtoY…
  6. 6. RecordにはSchemaがあるので色々便利に
  7. 7. Q. どこでSchemaを意識するべき??? クラウド オブジェクトストレージ ストリーミング 処理エンジン 多種多様なプロトコル データフォーマット オンプレ/クラウド 地理的分散 さらにエッジ寄り
  8. 8. A. どこでも。 データをopaqueなバイナリデータとして単に流すところ以外はどこでも必 要になるでしょう。”Schema on Read”、流れるデータに関しても何か処理を 行う場合はその時点で必要になります。
  9. 9. そこで、Schema Registryという存在 • NiFiで利用できるSchema Registry • AvroSchemaRegistry • HortonworksSchemaRegistry • 2017/8/4現在、SNAPSHOTに追加されているもの(未リリース) • ConfluentSchemaRegistry • NiFiだけでなく、他のソフトウェアでも共用できるSchema Registryが重要になっている。
  10. 10. Hortonworks Schema Registryを使った例 8/31ハンズオン開催!!
  11. 11. OSSコミュニティに飛び込んでみませんか? • NiFiの性質上、とても幅広い他の製品との連携ポイントがあり、多くのエ ンジニアが参加しやすいプロジェクト • NiFi利用中に発見した問題を報告してみる (JIRA, ML … etc) • NiFiのJIRAを見て、解決できそうなチケットにPull Requestを投げてみる • 例えば、特定の製品、データベース、クラウドに強い人 • まだNiFiプロジェクトに存在しないProcessorを作ってみる • 自分が得意な製品との連携部分のPull Requestのレビューに参加してみる • などなど、方法は様々!お気軽にどうぞ!
  12. 12. Thank you!

×