Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

3分で作るストリーム処理基盤~kafka+flink on docker編~

1,060 views

Published on

【一休 × JapanTaxi】サービスを支えるデータ分析基盤 LT発表資料

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

3分で作るストリーム処理基盤~kafka+flink on docker編~

  1. 1. 3分で作る ストリーム処理基盤 ~Kafka + Flink on Docker編~ ウェブニウム株式会社 取締役 CTO 田中康一
  2. 2. 自己紹介 名前 田中 康一 所属 ウェブニウム株式会社 役職 取締役CTO 職能 ソウトウェアエンジニア(TypeScript, JavaScript, PHP, Java, etc...) インフラエンジニア(ミドルウェア) Twitter @mugeso
  3. 3. 今回作るもの
  4. 4. ストリーム処理基盤 INPUT OUTPUT
  5. 5. groupId: group1 groupId: group2 Apache Kafka Producer Producer Producer topicA topicB Consumer Consumer Consumer Broker
  6. 6. Apache Flink Low latencyHigh Performance Stateful and Fault- tolerant Large scale
  7. 7. VS Apache Storm 出典: https://flink.apache.org/introduction.html
  8. 8. Dockerでの構築
  9. 9. それぞれのイメージ ● Kafka ○ https://hub.docker.com/r/wurstmeister/kafka/ ○ 非公式 ● Flink ○ https://hub.docker.com/_/flink/
  10. 10. Kafka構築時の注意点 ローカルでシングルブローカー用のサンプル内の、 environment: KAFKA_ADVERTISED_HOST_NAME: 192.168.99.100 のIPアドレスはdocker engineが動作しているホストマシンのIPアドレスである必 要があります。

×