KafkaとAWS Kinesisの比較

Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ LT発表資料

Technology

Kafka AWS Kinesis
/ @laclefyoshi / ysaeki@r.recruit.co.jp

• 2011/04
• 2015/09
•
• Druid (2015; Kindle Direct Publishing)
• RDB NoSQL (2016; ; HBase )
•
• (WebDB Forum 2014)
• Spark Streaming (Spark Meetup
December 2015)
3

Kafka Kinesis
• Apache
• Publish-Subscribe messaging rethought as a
distributed commit log
• AWS Kinesis
• Stream
• Firehose
• Analytics
: Pub/Sub
:
: (SQL)
4

[Kafka] [Kinesis]
Kafka Connect
Kafka-rest
Kafka-Pixy
Kastle
AWS
API Gateway
HTTP API
ETL ETL 7

[Kafka] [Kinesis]
Kafka Connect
Kafka-rest
Kafka-Pixy
Kastle
AWS
API Gateway
HTTP API
ETL ETL
OSS
•Kafka Streams
•PipelineDB
AWS
•Kinesis Analytics
7

[Kafka] [Kinesis]
JMX Reporter
Kerberos
Cloudwatch
AWS
7
← →
← →
← →
8

[ ]
http://insightdataengineering.com/blog/ingestion-comparison/
X

Kafka Kinesis
• Kafka or Kinesis
• Kafka OSS
Kinesis
•
9

Kafka Kinesis
• (< 5000msgs/sec) Kinesis
• Kafka
• Kinesis
• Hadoop Kafka
• Kinesis
• Kafka
10

• OSS → Kafka
• → Kinesis
• API
•
• SNS Bot IoT
•
11

Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者：関山宜孝（Amazon Web Services Japan）昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop/Spark コミュニティの直近の開発状況についても解説します。 http://hadoop.apache.jp/hcj2019-program/

AWSとオンプレミスを繋ぐときに知っておきたいルーティングの基礎知識（CCSI監修！）

Trainocate Japan, Ltd.

Apache Kafka 0.11 の Exactly Once Semantics

え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理

え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理（NTTデータテクノロジーカンファレンス 2019 講演資料、2019/09/05） NTTデータ技術革新統括本部システム技術本部生産技術部インテグレーション技術センタデータ活用チーム佐々木徹

Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤

分析指向データレイク実現の次の一手～Delta Lake、なにそれおいしいの？～（NTTデータテクノロジーカンファレンス 2020 発表資料）

分析指向データレイク実現の次の一手～Delta Lake、なにそれおいしいの？～（NTTデータテクノロジーカンファレンス 2020 発表資料） 2020年10月16日（金） NTTデータシステム技術本部デジタル技術部梅森直人講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中！ https://www.youtube.com/watch?v=NDb9nORBT_A

The Twelve-Factor Appで考えるAWSのサービス開発

At least onceってぶっちゃけ問題の先送りだったよね #kafkajp

マイクロサービスが話題を集め、コンポーネントの急速な API 化が進んでいます。認証や認可は、主にエンドユーザとシステムの間の問題だと認識されますが、今やコンポーネント間のサービス呼び出しにおいても重要な役割を担っています。複雑に入り組んだマイクロサービス間の認証と認可について、実際に開発している API プラットフォームの実例を元に、実践的な知見をお伝えします。

ストリーム処理を支えるキューイングシステムの選び方

AWSのログ管理ベストプラクティス

Akihiro Kuwano

Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート

Recruit Lifestyle Co., Ltd.

分散トレーシングAWS:X-Rayとの上手い付き合い方

Spring Cloud Data Flow の紹介 #streamctjp

マルチテナント化で知っておきたいデータベースのこと

NGINXをBFF (Backend for Frontend)として利用した話

AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern

KeycloakでAPI認可に入門する

Apache Sparkに手を出してヤケドしないための基本～「Apache Spark入門より」～（デブサミ 2016 講演資料）

20190911 AWS Black Belt Online Seminar AWS Batch

今こそ知りたいSpring Batch（Spring Fest 2020講演資料）

Hiveを高速化するLLAP

Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～

どうやって決める？kubernetesでのシークレット管理方法（Cloud Native Days 2020 発表資料）

乗っ取れコンテナ！！開発者から見たコンテナセキュリティの考え方（CloudNative Days Tokyo 2021 発表資料）

Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）

NTTデータ流Infrastructure as Code～大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿～（NTTデータテクノロジーカンフ...

Serverless時代のJavaについて

データの民主化のために StackStorm を活用した事例

Akka Streams And Kafka Streams: Where Microservices Meet Fast Data

Lightbend

In a recent survey, 90% of over 2400 developers reported having at least some real-time functionality in their systems. Enterprises are realizing that the ability to extract value from streaming data in near real-time is the new competitive advantage. Two technologies–Akka Streams and Kafka Streams–have emerged as popular tools to use with Apache Kafka for addressing the shared requirements of availability, scalability, and resilience for both streaming microservices and Fast Data. So which one should you use for specific use cases?

What's hot

マイクロサービス時代の認証と認可 - AWS Dev Day Tokyo 2018 #AWSDevDay

都元ダイスケ Miyamoto

ストリーム処理を支えるキューイングシステムの選び方

AWSのログ管理ベストプラクティス

Akihiro Kuwano

Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート

Recruit Lifestyle Co., Ltd.

分散トレーシングAWS:X-Rayとの上手い付き合い方

Spring Cloud Data Flow の紹介 #streamctjp

マルチテナント化で知っておきたいデータベースのこと

NGINXをBFF (Backend for Frontend)として利用した話

AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern

KeycloakでAPI認可に入門する

Apache Sparkに手を出してヤケドしないための基本～「Apache Spark入門より」～（デブサミ 2016 講演資料）

20190911 AWS Black Belt Online Seminar AWS Batch

今こそ知りたいSpring Batch（Spring Fest 2020講演資料）

Hiveを高速化するLLAP

Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～

どうやって決める？kubernetesでのシークレット管理方法（Cloud Native Days 2020 発表資料）

乗っ取れコンテナ！！開発者から見たコンテナセキュリティの考え方（CloudNative Days Tokyo 2021 発表資料）

Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）

NTTデータ流Infrastructure as Code～大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿～（NTTデータテクノロジーカンフ...

Serverless時代のJavaについて

What's hot (20)

マイクロサービス時代の認証と認可 - AWS Dev Day Tokyo 2018 #AWSDevDay

ストリーム処理を支えるキューイングシステムの選び方

AWSのログ管理ベストプラクティス

Amazon Redshift パフォーマンスチューニングテクニックと最新アップデート

分散トレーシングAWS:X-Rayとの上手い付き合い方

Spring Cloud Data Flow の紹介 #streamctjp

マルチテナント化で知っておきたいデータベースのこと

NGINXをBFF (Backend for Frontend)として利用した話

AWS Black Belt Online Seminar 2018 Amazon DynamoDB Advanced Design Pattern

KeycloakでAPI認可に入門する

Apache Sparkに手を出してヤケドしないための基本～「Apache Spark入門より」～（デブサミ 2016 講演資料）

20190911 AWS Black Belt Online Seminar AWS Batch

今こそ知りたいSpring Batch（Spring Fest 2020講演資料）

Hiveを高速化するLLAP

Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～

どうやって決める？kubernetesでのシークレット管理方法（Cloud Native Days 2020 発表資料）

乗っ取れコンテナ！！開発者から見たコンテナセキュリティの考え方（CloudNative Days Tokyo 2021 発表資料）

Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）

NTTデータ流Infrastructure as Code～大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿～（NTTデータテクノロジーカンフ...

Serverless時代のJavaについて

Similar to KafkaとAWS Kinesisの比較

データの民主化のために StackStorm を活用した事例

Akka Streams And Kafka Streams: Where Microservices Meet Fast Data

Lightbend

Kafka Streams for Java enthusiasts

Slim Baltagi

Kafka, Apache Kafka evolved from an enterprise messaging system to a fully distributed streaming data platform (Kafka Core + Kafka Connect + Kafka Streams) for building streaming data pipelines and streaming data applications. This talk, that I gave at the Chicago Java Users Group (CJUG) on June 8th 2017, is mainly focusing on Kafka Streams, a lightweight open source Java library for building stream processing applications on top of Kafka using Kafka topics as input/output. You will learn more about the following: 1. Apache Kafka: a Streaming Data Platform 2. Overview of Kafka Streams: Before Kafka Streams? What is Kafka Streams? Why Kafka Streams? What are Kafka Streams key concepts? Kafka Streams APIs and code examples? 3. Writing, deploying and running your first Kafka Streams application 4. Code and Demo of an end-to-end Kafka-based Streaming Data Application 5. Where to go from here?

KSQL---Streaming SQL for Apache Kafka

Matthias J. Sax

This talk is about KSQL, an open source streaming SQL engine for Apache Kafka. KSQL aims to make stream processing available to everybody without the need to write Java or Scala code. Streaming SQL makes it easy to get started with a wide-range of stream processing applications such as real-time ETL, sessionization, monitoring and alerting, or fraud detection. We will give a general introduction to KSQL covering its SQL dialect, core concepts, and architecture including some technical deep-dives how it works under the hood.

Queryable State for Kafka Streamsを使ってみた