3分で作るストリーム処理基盤～kafka+flink on docker編～
•Download as PPTX, PDF•
0 likes•1,631 views
【一休 × JapanTaxi】サービスを支えるデータ分析基盤 LT発表資料
Recommended
More Related Content
What's hot
What's hot (20)
3分で作るストリーム処理基盤～kafka+flink on docker編～
- 1. 3分で作る ストリーム処理基盤 ～Kafka + Flink on Docker編～ ウェブニウム株式会社 取締役 CTO 田中康一
- 2. 自己紹介 名前 田中 康一 所属 ウェブニウム株式会社 役職 取締役CTO 職能 ソウトウェアエンジニア(TypeScript, JavaScript, PHP, Java, etc...) インフラエンジニア(ミドルウェア) Twitter @mugeso
- 3. 今回作るもの
- 5. groupId: group1 groupId: group2 Apache Kafka Producer Producer Producer topicA topicB Consumer Consumer Consumer Broker
- 6. Apache Flink Low latencyHigh Performance Stateful and Fault- tolerant Large scale
- 7. VS Apache Storm 出典： https://flink.apache.org/introduction.html
- 8. Dockerでの構築
- 9. それぞれのイメージ ● Kafka ○ https://hub.docker.com/r/wurstmeister/kafka/ ○ 非公式 ● Flink ○ https://hub.docker.com/_/flink/
Editor's Notes
- 今回構築するのはストリーム処理基盤です。 ストリーム処理基盤は絶えず入力されるデータをリアルタイムに処理し続けるための仕組みです。
- 今回の構成では、ブロードキャストもできるメッセージキューシステムであるApache Kafkaを利用します。 KafkaではKafka本体をbroker、メッセージ送信元をproducer、受信先をconsumerと呼びます。 Producerはメッセージをtopicに対して送信しすることができ、一つのborkerで複数のtopicを扱うことができます。 ConsumerはgroupIdと呼ばれるIDをもち、同一のグループごとに通常のメッセージキューのような振る舞いをします。 一方で、グループが異なる場合は同じメッセージがグループそれぞれに同時に配信されます。
- Apache Flinkはリアルタイムストリーム処理を行うプロダクトです。 HaddopやStorm、Sparkなどの処理基盤はバッチ処理から発展しているのに対して、Flinkはストリーム処理を前提に設計開発されているため、 ストリーム処理においてハイパフォーマンスでローレイテンシーを実現しています。また、ステートフルに処理を行うことにより堅牢性も実現しています。 実処理の実装はJavaまたはScalaで行います。
- こちらは公式サイトに掲載されている、ランダムデータのカウント処理の性能をApache Stromと比較したグラフになります。 FlinkがStormに対して高スループットであることが確認できます。
- KafkaとFlinkのイメージはdocker hubに用意されています。 また、それぞれを構成する際のdocker-compose.ymlが用意されているので、これをコピペすれば簡単に構築できます。