Using MessageQueue in SoftLayer

1. MessageQueueで
らくらくサーバ/クライアント
日本SoftLayerユーザー会
電気通信大学 城間 隆行
2015年3月20日
SoftLayer勉強会 @大阪

2. 自己紹介
•城間 隆行(しろま たかゆき)
– 所属:電気通信大学 大学院 (修士1年)
SoftLayerユーザー会
– 研究:クラウドコンピューティング関係
•本日の内容:SoftLayerのMessageQueueが
便利だった話
15/03/20 Japan SoftLayer UG 2

3. 最初にアンケート
Message Queue
ご存知の方

4. What is MessageQueue?
•SoftLayerが提供する不揮発共有Queue
– 不揮発
•入れておけばとりあえず消えない
– 共有
•ネットワーク越しに読み書き可能
– Queue
•順序を維持した構造，
イメージ:FIFO(First In First Out)
•MessageQueueはどの様に使えるの？
15/03/20 Japan SoftLayer UG 4

5. MessageQueueの仕組み:書き込み
•SoftLayer内部のQueueストアに
書き込みを保存
– SoftLayer内外からQueue追加が可能
15/03/20 Japan SoftLayer UG 5
SoftLayer内部
SoftLayer外部
Queue
List
Q1:Server
Message1
Q2:Client
Message1
Message2
1つのQueueに
複数のメッセージを
格納できる
Queueに
名前を付与
Queue2
Queue1

6. MessageQueueの仕組み:読み出し
•同じくQueueストアから読み出し
– Queueの一覧/指定したQueueのMessage
– 消す時は明示的に指定して消去
15/03/20 Japan SoftLayer UG 6
SoftLayer内部
SoftLayer外部
Queue
List
Q1:Server
Message1
Q2:Client
Message2
Message3
Q1:Server
Q2:Client
Message2
Message3
Q1:Serverを
削除

7. どう使うと便利？
•Queueである利点を活かす
– 要求と処理が非同期でいい環境
•依頼をQueueで受けても，
すぐ処理に取り掛かる必要は無い
– 処理順番は守りたい
•Queueで受けた順番通りに処理したい
15/03/20 Japan SoftLayer UG 7

8. 私のユースケース:要望
•大学院での実験のデータ処理
– 実験が終わる時間は環境ごとに異なる
•入力が非同期
– 先に終わった実験のデータを
先に処理してほしい
•順番を維持して欲しい
•MessageQueueを利用した
データ処理環境を作成
15/03/20 Japan SoftLayer UG 8

9. 私のユースケース:環境
•大学での実験が終わり次第，データを
アップロードし，処理をQueueに追加(黒線)
•処理サーバは
Queueを読んで
順にデータを処理
(赤線)
•それぞれの動きは独立
15/03/20 Japan SoftLayer UG 9
処理サーバ
SoftLayer内部
データサーバ
大学の実験環境
キューの流れ
データの流れ

10. 私のユースケース:利点1
•処理サーバを柔軟に追加可能
– 各々がQueueを読みだして処理するだけ
15/03/20 Japan SoftLayer UG 10
処理サーバ
SoftLayer内部
データサーバ
大学の実験環境
キューの流れ
データの流れ
追加した処理サーバが
それぞれ独立して
Queueを処理可能

11. 私のユースケース:利点2
•クライアント増加にも
柔軟に対応可能
– Queueとデータの
転送設定を
行うだけ
15/03/20 Japan SoftLayer UG 11
処理サーバ
SoftLayer内部
データサーバ
大学の実験環境
新しいクライアントも
Queueとデータを
投げるようにするだけ

12. 私のユースケース:結果…
•新しい実験のログデータ処理も
自動で処理される
•処理サーバを
追加して
処理を高速化
15/03/20 Japan SoftLayer UG 12
処理サーバ
SoftLayer内部
データサーバ
大学の実験環境

13. 本日のまとめ
•SoftLayerにはMessageQueueという
機能が存在
– Queueを作って入出力の順番を
保持してくれる
– ネットワーク越しにキューを共有可能
•サーバ/クライアントの制御に便利
–安い！
•使い倒しても100円/月にも行かない
15/03/20 Japan SoftLayer UG 13

14. 15/03/20 Japan SoftLayer UG 14