ヤフー発のメッセージキュー「Pulsar」のご紹介

ヤフー発のメッセージキュー
「Pulsar」のご紹介
ヤフー株式会社システム統括本部
坂本雅宏
2017/11/18

Copyright (C) 2017 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2
自己紹介
坂本雅宏
経歴：
▪ 2013/04 ヤフー入社
▪ 2013/07~ ユーザの属性情報を扱うシステムを担当
▪ 2015/10~ 社内向けのWebAPI実行環境を担当
▪ 2016/04~ メッセージキュー「Pulsar」を担当
▪ 2017/06~ 「Pulsar」のコミッター
扱う事が多い言語：日本語、Java、PHP、Node.js
扱うのに困難が伴う言語：英語

Apache Pulsar
Yahoo! Inc.（現：Oath）で開発されたJava製の新しいメッセージキュー
▪ Pub-Subメッセージングモデルを採用
▪ 特徴
› 高速 / スケーラブル
› マルチテナント
› ジオレプリケーション
▪ 歴史
› 2014秋 Yahoo! Inc. が開発
› 2016/09 OSSとして公開
› 2017/06 Apache Software Foundationに移管（Incubatorプロジェクト）

Copyright (C) 2017 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
アジェンダ
4
アジェンダ
1. メッセージキューとは？
2. Pulsar導入の背景
3. インターフェースとアーキテクチャ
4. Pulsar on Kubernetes
5. Kafkaとの比較
6. Pulsarの近況

メッセージキューとは？

メッセージキュー（MQ）とは？
送信側
システム
受信側
システム
1
2345
メッセージキュー
6
システム間のメッセージのやり取りに使用されるソフトウェアの総称
▪ メッセージ … 他のシステムへの通知情報、処理して欲しいデータ、ログ etc.
▪ キュー … 先に入れたものから順に出てくるデータ構造
› メッセージの送信 = キューの最後尾にメッセージを追加する
› メッセージの受信＝キューの先頭からメッセージを取り出す
MQにメッセージを
送信すると…
送った通りの順番で
非同期に相手に届く！

メッセージキューを使わなかったら…
送信側
システム
受信側
システム
23
56
4
7
10 9 8
フロントエンド
サーバ
バックエンド
サーバ
エンドユーザの
Webブラウザなど
リクエストがいっぱい来てるよ！
早く次のメッセージ受け取って！
今は忙しいんだ
後にしてくれ
1
応答が全然
返ってこない…

メッセージキューを使えば…
245
3
ちゃんとリクエストは
受け付けてくれたみたい
送信側
システム
フロントエンド
サーバ
受信側
システム
バックエンド
サーバ
1
エンドユーザの
Webブラウザなど
とりあえずキューに追加だけ
しておいてユーザに応答！
手が空き次第
順番に受け取っていくよ

Pub-Subメッセージングとは？
トピックと呼ばれる宛先に対してメッセージの送受信が行われる方式
▪ メッセージの送信側＝ Producer / Publisher / 出版者
▪ メッセージの受信側＝ Consumer / Subscriber / 購読者
トピックProducer
Consumer 1
Consumer 2
Consumer 3
メッセージキューあるトピックに対して
メッセージを送信すると…
そのトピックを購読している
相手にメッセージが届く！

Pub-Subメッセージングをしなかったら…
送信側
システム1
送信側
システム2
送信側
システム3
送信側
システム4
受信側
システム1
受信側
システム2
受信側
システム3
受信側
システム4
1対1の通信なら問題ないが、1対多や多対多になると複雑で管理も大変

Pub-Subメッセージングをすれば…
トピック1
トピック2
トピック3
送信側も受信側もお互いを意識する必要がない → シンプルかつスケーラブルに
送信側
システム1
送信側
システム2
送信側
システム3
送信側
システム4
受信側
システム1
受信側
システム2
受信側
システム3
受信側
システム4

代表的なメッセージキュー
▪ Kafka
› 2011年にLinkedInから公開
› 大量のデータを高速に処理する事を目指し設計
› ストリームデータの処理によく使用される
▪ RabbitMQ
› 2007年にRabbit Technologiesから公開
› 通信プロトコルにAMQPを採用
› どちらかと言えばパフォーマンスよりも信頼性を重視
▪ ActiveMQ
› 2004年から使用されている歴史あるプロダクト
› 様々なプロトコルをサポートし、多数の言語から利用可能なのが強み

Pulsar導入の背景

社内プラットフォームとしてのMQを提供したい
■背景：
▪ ヤフーには100程度のサービスがあり、それぞれに開発/運用チームが存在
▪ バックエンドの処理（システム連携、データ解析 etc.）にMQを利用したい
■課題：
▪ 設備・運用コストが増え、本来やりたかったサービス開発に集中できない
▪ ナレッジが社内で分散する
→ サービス横断で利用可能な「社内プラットフォームとしてのMQ」を提供したい
■求められる要件：
1. 高いパフォーマンス / スケーラビリティ
2. 複数のサービスが同居できる
3. 複数のデータセンター間でのレプリケーション

要件1 – 高いパフォーマンス / スケーラビリティ
▪ ヤフーで提供しているサービスは数が多く、それぞれの利用者数も膨大
▪ 例えばトップページ（PC）の1日あたりの利用者数は…
› PV（Webページの参照回数）：2億以上
› UB（ユニークなWebブラウザ数）：3千万以上
▪ それを支えるMQも大量のメッセージを高速に処理できる事が求められる
▪ 利用者数の増大に対応できるようにスケーラブルである事も重要

要件2 - 複数のサービスが同居できる
サービスごとに専用のMQを用意するのはコストがかかる
1つのMQに複数のサービスが同居できる（=マルチテナント）事が求められる
MQ
サービスA
ConsumerProducer MQ
サービスB
ConsumerProducer
MQ
サービスC
ConsumerProducer MQ
サービスD
ConsumerProducer
ProducerサービスA Consumer
Producer Consumer
Producer Consumer
Producer Consumer
トピックA
トピックB
トピックC
トピックD
サービスB
サービスC
サービスD

要件3 – 複数のデータセンター間でのレプリケーション
データセンターA
Consumer
▪ ヤフーは地理的に離れた複数のデータセンターでサービスを展開
▪ 全てのデータセンターで同じメッセージを受けて同じ処理を実行したい場合：
› 全てのデータセンターにメッセージをpublish？ → 非効率的、手間がかかる
› 特定のデータセンターのMQに全てのConsumerが接続？ → レイテンシ大
→ MQの中でデータセンターをまたいだレプリケーションして欲しい
Producer Consumer
Consumer
MQ
データセンターB
Consumer
Producer Consumer
Consumer
MQ
データセンターC
Consumer
Consumer
Consumer
全てのDSでPublish
するのは非効率的
DCをまたぐので
レイテンシが大きい
それぞれのDCでpublish
するのは非効率的

Pulsarは前述の要件を全て満たす
前述の要件を全て満たすソリューションが存在しなかった
▪ パフォーマンスが低い…
▪ トピック数が膨大になるとスケールがうまくいかなくなる…
▪ オペレーションが不便…
そこで要件を満たすために1から作られたのがPulsar
1. 高いパフォーマンス / スケーラビリティ
2. 複数のサービスが同居できる
3. 複数のデータセンター間でのレプリケーション

特徴1 – 高速 / スケーラブル
Producer
大量のメッセージを高速に送受信可能
▪ Yahoo! Inc. での実績
› トピック数：140万
› メッセージ数：1,000億 [msg/day]
› メッセージの送信に要する時間（平均）：5 [ms]
▪ サーバの台数を増やせばその分だけキャパシティを増やせる → スケーラブル
Consumer
Pulsar
Consumer
Pulsar
Producer
Producer
Producer
Producer
Producer
Producer
Consumer
Consumer
Consumer
Consumer
Consumer
スケール
アウト

特徴2 - マルチテナント
ProducerサービスA Consumer
Producer Consumer
Producer Consumer
Producer Consumer
トピックA
トピックB
トピックC
トピックD
サービスB
サービスC
サービスD
複数のサービスが1つのPulsarインスタンスを共用可能
▪ ヤフーでは全社で共有するインスタンスを専用のチームが提供・運用
▪ 各サービスはサービス開発に集中できる各サービスが利用可能な
リソースを個別に設定可能
他のサービスのトピックへの
アクセスは認証・認可機構で
ブロック

特徴3 – ジオレプリケーション
Producer トピック
あるデータセンターのトピックに送信したメッセージを他のDCに複製・配信可能
▪ Producerは自分と同じデータセンターのPulsarにメッセージを送ればいい
▪ Consumerは自分と同じデータセンターのPulsarからメッセージを受け取れる
Pulsar クラスタ A
Consumer
Consumer
Consumer
データセンターA
トピック Consumer
Consumer
Consumer
データセンターB
ジオ
レプリケーション Pulsar クラスタ B

利用事例1 - コンテンツ入稿プラットフォーム
▪ ヤフーには外部のコンテンツプロバイダから様々なファイルが入稿される
▪ 入稿サーバへのファイル転送を検知したら入稿ログをPulsarに流す
▪ トピックを購読している各サービスがファイルを取得して処理する
Producer
Consumer
トピック
サービスA
Pulsar
コンテンツの入稿ログ
をPulsarに流す
ファイルを取得
Consumer
サービスB
Consumer
サービスC
入稿サーバ
コンテンツ
プロバイダ
天気情報、地図情報、
ニュース etc.
ログサーバ

利用事例2 - Yahoo!メールのBEシステム
▪ メールの検索インデックスの生成/修正といった時間のかかるジョブを非同期に
処理するために利用
▪ ProducerはPulsarにジョブをキューイング
▪ ConsumerはPulsarからジョブを取り出して順番に処理
Producer
Consumer
Producer
トピック
ジョブを処理する
ハンドラ
メールBEサーバ
メールBEサーバ
Pulsar
リクエスト
ジョブを登録
忙しい時やジョブが
失敗した時は再登録
ジョブを
取り出して処理

インターフェース

Pulsarのインターフェース
▪ クライアントライブラリはJava, C++, Pythonを提供
▪ 他の言語からもWebSocket APIを利用可能
▪ Producer/Consumerは次のようなトピックURIを指定してPulsarに接続
▪ さらにConsumerはサブスクリプションの名前を指定する必要がある
▪ 用途に応じて3種類のサブスクリプションモード（メッセージの配信方式）を選択可能
persistent://property/cluster/namespace/destination
サービス名など
データセンターなど
用途など
用途の詳細などメッセージを永続化

サブスクリプションとは？
Producer
Consumer
Consumer
1
2345
Consumerがトピックの購読を開始した時に作成される購読の管理単位
▪ 「メッセージがどこまで受け取られたか？」はサブスクリプションごとに管理される
▪ Consumerとの接続が切れても削除されず、再接続までの間メッセージを溜め続ける
123
トピック
subscription-A
subscription-B
6

サブスクリプションタイプ1 - Exclusive
Producer
Consumer
Consumer
Consumer
12345
12345
▪ 1つのサブスクリプションには1つのConsumerだけが接続可能
▪ 既にConsumerが存在するサブスクリプションに接続を試みるとエラーになる
▪ デフォルトのサブスクリプションタイプ
subscription-A
(Exclusive)
subscription-B
(Exclusive)
12345
トピック

サブスクリプションタイプ2 - Shared
Producer
12345
Consumer
Consumer
Consumer
25
3
4
1
subscription
(Shared)
▪ 1つのサブスクリプションに複数のConsumerが接続可能
▪ メッセージは各Consumerにラウンドロビンで配信される
▪ 複数のシステムで処理を分担させたい場合に有用
トピック

サブスクリプションタイプ3 - Failover
Producer
12345
Consumer
Consumer
Consumer
345
▪ 複数のConsumerが接続可能だが、メッセージを受け取るのはその内1つだけ
▪ そのConsumerがダウンすると別のConsumerがメッセージを受け取るようになる
▪ アクティブ・スタンバイ構成を実現可能
subscription
(Failover)
トピック
2
1
1と2の受け取り後
にダウン

// PulsarのURIを指定してクライアントを作成
PulsarClient client = PulsarClient.create(
"pulsar://broker.usw.example.com:6650");
// トピックを指定してProducerを作成
Producer producer = client.createProducer(
"persistent://my-property/us-west/my-namespace/my-topic");
// メッセージを送信
producer.send("my-message".getBytes());
Javaのサンプルコード - Producer

// トピックとサブスクリプションを指定してConsumerを作成
Consumer consumer = client.subscribe(
"persistent://my-property/us-west/my-namespace/my-topic",
"my-subscription-name");
// メッセージを受信して画面に表示
Message msg = consumer.receive();
System.out.println(new String(msg.getData()));
// メッセージに対するACKを返信（キューからメッセージを削除）
consumer.acknowledge(msg);
Javaのサンプルコード - Consumer

// Consumerの設定にサブスクリプションタイプを追加
ConsumerConfiguration conf = new ConsumerConfiguration();
conf.setSubscriptionType(SubscriptionType.Shared);
Consumer consumer = client.subscribe(
"persistent://my-property/us-west/my-namespace/my-topic",
"my-subscription-name", conf);
Javaのサンプルコード - サブスクリプションタイプの指定

アーキテクチャ

システム構成図 ■Broker
‣ クライアントとのメッセージの
やり取りを担当
‣ 「状態」を持たないため増設が容易
■Bookie
‣ BookKeeperのストレージノード
‣ トピックに送信されたメッセージや
それに関連するデータを保存
■ZooKeeper
‣ トピックの管理に必要なメタ情報を
保存
‣ Local ZKはクラスタ内に閉じた
情報を担当
‣ Global ZKは全てのクラスタで
共有すべき情報を担当
Producer Consumer
Broker 1 Broker 2 Broker 3
Bookie
1
Local
ZooKeeper
Bookie
2
Bookie
3
Pulsar クラスタ
Global
ZooKeeper

Apache BookKeeperとは？
▪ オープンソースの分散型ログストレージサービス
▪ データを複製し複数のノード（Bookie）に分散して保存 → 強い耐障害性
▪ ノード数を増やせば容量と速度の向上が可能 → スケーラブル
A
Bookie2 Bookie3
D
C
A
B
D
B
C
Bookie1
データの複製数は自由に変更可能
Apache BookKeeperはApache Software Foundationの
米国およびその他の国における登録商標または商標です。

BookKeeperのアーキテクチャ
▪ 先行書き込みログ
› ストレージに対する「操作」を先に書き込む
› ストレージへの反映は後からバックグラウンドで
› 途中で電源が落ちても「操作」を再開可能
› 容量より速度を重視したいので高速なSSDを使用
▪ 永続化ストレージ
› 連続するデータをまとめてキャッシュに読み込んでおく
› 一般にメッセージキューは連続するデータを扱うため効率がよい
› 速度より容量を重視したいので大容量なHDDを使用
速度と永続性の両立を実現
先行書き込みログ
（SSD）
永続化ストレージ
（HDD）
Bookie
書き込み
キャッシュ
先行読み込み
キャッシュ
Write
Read

Pulsar on Kubernetes

Kubernetesとは？
▪ コンテナ型仮想化技術「Docker」のためのオーケストレーションツール
› コンテナ＝隔離されたアプリケーション実行環境
› VM型仮想化とは違ってOSの仮想化などはしないため軽量
コンテナ
App
ホストOS
ハードウェア
コンテナ
App
複数の仮想的なホストが
動いているように見える

Dockerの問題点の例
コンテナ
App
コンテナ
App
Private IP
ホスト1
コンテナ
App
コンテナ
App
❓
ホスト2
Private IP
NATなどによる変換が必要 → 管理が煩雑、スケールアウトが困難

Kubernetesを使うと…
コンテナ
App
コンテナ
App
Cluster IP
Kubernetesクラスタ (複数台のホストから構成)
コンテナ
App
コンテナ
App
Cluster IPCluster IP
あたかも1台の実行環境であるかのように利用可能

Pulsar on Kubernetes
▪ Pulsarは様々なKubernetesクラスタに簡単にデプロイ可能
› Google Container Engine (GKE)
› Amazon Web Service (AWS)
› 独自クラスタ
▪ 今回はGKEでのデプロイ方法をご紹介
› 詳細な手順はこちら：
https://pulsar.incubator.apache.org/ja/deployment/Kubernetes/

Google Cloud Platformの準備
▪ 事前準備として以下が必要
› cloud.google.comにサインアップできるGoogle Cloud Platformのアカウント
› 既存のCloud Platformプロジェクト
› Google Cloud SDK (特にgcloudとkubectlツール)
無料トライアルアカウントでも可

Google Cloud Platformの準備

新しいKubernetesクラスタの作成
$ gcloud container clusters create ¥
pulsar-gke-cluster ¥ # クラスタ名
--zone=us-central1-a ¥ # リージョンとゾーン
--machine-type=n1-standard-4 ¥ # マシンの種類
--num-nodes=2 ¥ # ノード数
--local-ssd-count=2 # ローカルSSDの数
※無料トライアルアカウント用に
ドキュメントよりスペックを下げています

Kubernetesダッシュボードの表示
$ gcloud container clusters get-credentials ¥
pulsar-gke-cluster ¥
--zone=us-central1-a ¥
--project=<project-id>
$ kubectl proxy
上記コマンドの入力後
http://localhost:8001/uiにブラウザからアクセス可

Pulsarのデプロイ – ZooKeeperのデプロイ1
# yaml定義のあるディレクトリに移動
$ cd /path/to/incubator-
pulsar/kubernetes/google-container-engine
# デプロイ
$ kubectl apply -f zookeeper.yaml

Pulsarのデプロイ – ZooKeeperのデプロイ2
# クラスタメタデータの初期化
$ kubectl exec -it zk-0 -- ¥
bin/pulsar initialize-cluster-metadata ¥
--cluster us-central ¥
--zookeeper zookeeper ¥
--global-zookeeper zookeeper ¥
--web-service-url
http://broker.default.svc.cluster.local:8080/ ¥
--broker-service-url
pulsar://broker.default.svc.cluster.local:6650/

以上でデプロイは完了
# Bookie, Broker, 監視ツールのデプロイ
$ kubectl apply -f bookie.yaml
$ kubectl apply -f broker.yaml
$ kubectl apply -f monitoring.yaml
Pulsarのデプロイ – 残りのコンポーネントのデプロイ

デプロイ完了後のKubernetesダッシュボード

Grafana

Pulsarダッシュボード

▪ 以下のコマンドで管理ツールを実行するためのコンソールにアクセス可能
▪ コンソールからパフォーマンステストも実行可能
55
管理ツール
$ kubectl exec pulsar-admin -it -- bash
$ bin/pulsar-perf produce --rate 150000 ¥
persistent://prop/us-central/ns/my-topic
# 実行結果
2017-09-28 05:35:30,398 - INFO -
[main:PerformanceProducer@341] - Throughput
produced: 149979.1 msg/s --- 1171.7 Mbit/s --
- Latency: mean: 46.952 ms (後略)
毎秒15万メッセージ！レイテンシ50ms！

Kafkaとの比較

PulsarとKafka
▪ スケーラブルな分散Pub-Subメッセージングシステム
▪ 大量のデータを高速処理する事を目指し設計
▪ ストリームデータの処理に使用可能
PulsarとKafkaには被る部分が多い
ではPulsar持つアドバンテージとは何か？

マルチテナントの実現しやすさ
log-stream-for-log-a
job-queue-for-job-a
job-queue-for-job-b
service-a
job-
queue
job-a
log-
stream
job-b
log-a
log-b
プロパティ
log-stream-for-log-b
ネームスペースデスティネーション
Kafka
Pulsar
ACL
ACL
ACL
ACL
ACL
ACL
ACL
トピック名が階層化されていない
↓
トピックごとに設定が必要
トピック名が階層化されている
↓
管理を利用者側に委任しやすい

Brokerの負荷分散
Pulsar
◯ 負荷に応じて自動的にBrokerが担当するトピックが移動
◯ Brokerを増設した際、トピックの再割り当ては不要
Kafka
△ Brokerが担当するパーティションは固定
△ Brokerを増設した際、パーティションの再割り当てが必要
PulsarはBrokerにデータを保持しないため、負荷分散が自動的に行われる

クラスタ間のメッセージの複製
Pulsar
◯ ジオレプリケーション機能
◯ Broker内部でReplicatorが自動的に起動
○ 複製対象のトピックは利用者がネームスペース単位で指定可能
Kafka
△ ミラーリング機能
△ MirrorMakerという独立したプロセスを起動
△ 複製対象のトピックをMirrorMaker起動時に指定する必要あり
Pulsarの方がオペレーションが容易でより柔軟な設定が可能
$ bin/kafka-mirror-maker.sh ¥
--consumer.config consumer.properties ¥
--producer.config producer.properties --whitelist my-topic

Pulsarの近況

最近マージされた機能
▪ Kafka client Java API wrapper
› KafkaProducer / KafkaConsumerのインターフェースでPulsarを利用するためのラッパー
▪ End-to-Endでの暗号化
› メッセージをproduce時に暗号化 / consume時に復号する機能を追加
▪ non-persistentなトピック
› メッセージを永続化しないことでより高速なproduce / consumeが可能なトピック
▪ produce時の重複排除
› メッセージをproduceする際にBroker側で重複を排除する

まとめ

まとめ
65
まとめ
▪ Pulsar
› Pub-Subメッセージングを採用したメッセージキュー
› 高速、スケーラブル、マルチテナント、ジオレプリケーション
› 特に大規模なサービスでの利用に向く
▪ 公式ドキュメントはこちら：
› 英語 : https://pulsar.incubator.apache.org/docs/latest/getting-started/LocalCluster/
› 日本語 : https://pulsar.incubator.apache.org/ja/getting-started/LocalCluster/
▪ 質問やフィードバックはSlackまたはメーリングリストへ：
› https://apache-pulsar.slack.com/
› users@pulsar.incubator.apache.org

One more thing…

Pulsarの日本ユーザ会ができました
▪ connpassでJapan Pulsar User Groupを作成しました
› https://japan-pulsar-user-group.connpass.com/
▪ 今後ハンズオンなどのイベントの開催を予定
▪ Pulsarにご興味を持たれた方はぜひご参加ください

ヤフー発のメッセージキュー「Pulsar」のご紹介

ヤフー発のメッセージキュー「Pulsar」のご紹介

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to ヤフー発のメッセージキュー「Pulsar」のご紹介

Similar to ヤフー発のメッセージキュー「Pulsar」のご紹介 (20)

More from Yahoo!デベロッパーネットワーク

More from Yahoo!デベロッパーネットワーク (20)

Recently uploaded

Recently uploaded (15)

ヤフー発のメッセージキュー「Pulsar」のご紹介