introduction of message queue

1. 非同期データ更新のために
メッセージキューを
導入した 話

2. 非同期データ更新のために
メッセージキューを
導入した（い）話

3. 非同期データ更新のために
メッセージキューを
導入したい話

4. What is メッセージキュー

5. Broker
Queue

6. msg
Broker
Producer
Queue

7. msg
Broker
Producer
Queuemsg

8. msg
Broker
Producer
Queuemsg msg

9. msg
Broker
Producer
Queuemsg msg
Consumer

10. msg
Broker
Producer
Queuemsg msg
Consumer

11. Broker
Producer
Queuemsg msg
Consumer

12. Broker
Producer
Queuemsg
Consumer
msg

13. Broker
Producer
Queue
Consumer
msg

14. 現在のシステム

15. MySQLのテーブルによる
キューっぽいシステムはある

16. 何が問題なのか？
独自実装に次ぐ独自実装

17. 何が問題なのか？
独自実装に次ぐ独自実装
欲しい機能が提供されていない

18. 何が問題なのか？
独自実装に次ぐ独自実装
欲しい機能が提供されていない
他のシステムと連携するのがつらい

19. 何が問題なのか？
独自実装に次ぐ独自実装
欲しい機能が提供されていない
他のシステムと連携するのがつらい
MySQLに激しい負荷を掛けたくない

20. そこでメッセージキュー

21. Apache Kafka

22. それは何？
速くてスケーラブルで信頼性の高い（公式サイト曰く）
分散メッセージキューサーバー

23. それは何？
速くてスケーラブルで信頼性の高い（公式サイト曰く）
分散メッセージキューサーバー
Hadoopファミリーの一員
HDFS上にデータをストアしたり、
ZooKeeperでクラスタを管理したりする

24. それは何？
速くてスケーラブルで信頼性の高い（公式サイト曰く）
分散メッセージキューサーバー
Hadoopファミリーの一員
HDFS上にデータをストアしたり、
ZooKeeperでクラスタを管理したりする
キューをMySQLのbinlogのようなログとして扱う
現在実行されたポジションを保存しておき、
ポジションを巻き戻すことによるリプレイにも対応する

25. Hadoopファミリーとの連携で
夢が広がりそう！！

26. 検証

27. 検証 -> 挫折

28. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要

29. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要
つらい

30. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要
つらい
他言語のライブラリも結構開発停滞していたりする
公式サポートされているのはJavaのみで、
HadoopはJava社会だということを痛切に思い知る春

31. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要
つらい
他言語のライブラリも結構開発停滞していたりする
公式サポートされているのはJavaのみで、
HadoopはJava社会だということを痛切に思い知る春
つらい

32. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要
つらい
他言語のライブラリも結構開発停滞していたりする
公式サポートされているのはJavaのみで、
HadoopはJava社会だということを痛切に思い知る春
つらい
そもそもConsumer APIが
古くて高レベルなのと、古くて低レベルなのと、新しいので
3 ……つもあるってどういうこと 。

33. どうして挫折したか？
PHPクライアントがどれもイケてない上PHP拡張なので
Cのコードを読み解く能力が必要
つらい
他言語のライブラリも結構開発停滞していたりする
公式サポートされているのはJavaのみで、
HadoopはJava社会だということを痛切に思い知る春
つらい
そもそもConsumer APIが
古くて高レベルなのと、古くて低レベルなのと、新しいので
3 ……つもあるってどういうこと 。
つらい

34. RabbitMQ

35. それは何？
堅牢で簡単で色々な開発環境に対応した（公式サイト曰く）
メッセージキューサーバー

36. それは何？
堅牢で簡単で色々な開発環境に対応した（公式サイト曰く）
メッセージキューサーバー
Erlang製

37. それは何？
堅牢で簡単で色々な開発環境に対応した（公式サイト曰く）
メッセージキューサーバー
Erlang製
AMQP 0.9.1対応
プラグインで色々なメッセージプロトコルに対応

38. 今のところの感触
まともなPHPクライアントがあるだけで毎日ハッピーです！
（東京都・会社員）

39. 今のところの感触
まともなPHPクライアントがあるだけで毎日ハッピーです！
（東京都・会社員）
AMQP 0.9.1に対応していれば
RabbitMQ用のクライアントでなくとも
比較的簡単に乗り換えられるという安心感
（現実にはRabbitMQ用のクライアントがほとんど）

40. 今のところの感触
まともなPHPクライアントがあるだけで毎日ハッピーです！
（東京都・会社員）
AMQP 0.9.1に対応していれば
RabbitMQ用のクライアントでなくとも
比較的簡単に乗り換えられるという安心感
（現実にはRabbitMQ用のクライアントがほとんど）
DiskでなくRAMに保存するオプションも選べるので
速度を求めることもできそう
クラスタ内で混在させたりすると夢が広がるかも

41. 共通して感じたこと

42. とりとめのない感想
負荷分散や高可用性実現のための仕組みが
当たり前のようにあるのは本当にありがたい

43. とりとめのない感想
負荷分散や高可用性実現のための仕組みが
当たり前のようにあるのは本当にありがたい
信頼できるソースが英語だらけなので
英語の勉強もできる！

44. 非同期データ更新のために
メッセージキューを
導入した（い）話

45. 非同期データ更新のために
メッセージキューを
導入した話

46. メッセージキューを導入したら
非同期データ更新が
いい感じになった話

47. メッセージキューを導入したら
非同期データ更新が
いい感じになるわ
宝くじは当たるわ
庭から温泉が出るわで
毎日札束風呂に入っている話

48. えにーくえすちょん？