Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

4

Share

Download to read offline

Apache NiFi 流れるデータにもスキーマを

Download to read offline

2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。
https://futureofdata.connpass.com/event/60300/

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

Apache NiFi 流れるデータにもスキーマを

  1. 1. Apache NiFi 流れるデータにもスキーマを 河村 康爾
  2. 2. 自己紹介 • Software Engineer @ Hortonworks • Apache NiFi PMC • 最近はApache AmbariやApache Atlasなどにも興味あり • @ijokarumawak
  3. 3. 免責事項/Disclaimer • 本資料の内容は2017/8/4現在のApache NiFiプロジェクトmaster ブランチ(1.4.0-SNAPSHOT)を元に記載されており、一部未リリー スの機能を含みます、該当部分にはその旨を明記してあります。 • This slide is written based on the contents in the master branch (1.4.0-SNAPSHOT) of Apache NiFi project as of Aug 4th 2017, and contains components those are not officially released yet.
  4. 4. よくあるNiFiの利用例 クラウド オブジェクトストレージ ストリーミング 処理エンジン 多種多様なプロトコル データフォーマット オンプレ/クラウド 地理的分散 さらにエッジ寄り
  5. 5. Record Reader/Writerの登場 Controller Service: Record Reader Avro, CSV, Grok, Json, Scripted Controller Service: Record Writer Avro, CSV, FreeFormText, Json, Scripted Processorの内部では 共通のRecordとして扱える USE USE 個別のフォーマット変換、ConvertXtoY…
  6. 6. RecordにはSchemaがあるので色々便利に
  7. 7. Q. どこでSchemaを意識するべき??? クラウド オブジェクトストレージ ストリーミング 処理エンジン 多種多様なプロトコル データフォーマット オンプレ/クラウド 地理的分散 さらにエッジ寄り
  8. 8. A. どこでも。 データをopaqueなバイナリデータとして単に流すところ以外はどこでも必 要になるでしょう。”Schema on Read”、流れるデータに関しても何か処理を 行う場合はその時点で必要になります。
  9. 9. そこで、Schema Registryという存在 • NiFiで利用できるSchema Registry • AvroSchemaRegistry • HortonworksSchemaRegistry • 2017/8/4現在、SNAPSHOTに追加されているもの(未リリース) • ConfluentSchemaRegistry • NiFiだけでなく、他のソフトウェアでも共用できるSchema Registryが重要になっている。
  10. 10. Hortonworks Schema Registryを使った例 8/31ハンズオン開催!!
  11. 11. OSSコミュニティに飛び込んでみませんか? • NiFiの性質上、とても幅広い他の製品との連携ポイントがあり、多くのエ ンジニアが参加しやすいプロジェクト • NiFi利用中に発見した問題を報告してみる (JIRA, ML … etc) • NiFiのJIRAを見て、解決できそうなチケットにPull Requestを投げてみる • 例えば、特定の製品、データベース、クラウドに強い人 • まだNiFiプロジェクトに存在しないProcessorを作ってみる • 自分が得意な製品との連携部分のPull Requestのレビューに参加してみる • などなど、方法は様々!お気軽にどうぞ!
  12. 12. Thank you!
  • hidekikimura5

    Dec. 10, 2018
  • toutoutakataka

    Oct. 14, 2017
  • DamienContreras

    Aug. 7, 2017
  • chira3

    Aug. 7, 2017

2017/8/4開催の「ストリームデータ処理技術勉強会」で発表した資料です。 https://futureofdata.connpass.com/event/60300/

Views

Total views

2,367

On Slideshare

0

From embeds

0

Number of embeds

1,058

Actions

Downloads

24

Shares

0

Comments

0

Likes

4

×