Reading NATS

第1回 Cloud Foundry 輪読会NATSをんだ。NATSを読んだ。 Katsunori Kawaguchi @hamakn 2011-10-18

Cloud Foundryのmessagingに利用されている、『NATS』のコードを読んだので、そのまとめを、デモを交えつつ共有したいと思います。

アジェンダ1. コードリーディングの下準備、NATSとは？2. NATSのコードリーディング3. Cloud FoundryでのNATS（ちょっとだけ）4. NATS cluster

自己紹介• 川口克則 @hamakn• NTTコム所属• Web/スマートフォンアプリの開発主にRails• 社内PaaSの第一候補として Cloud Foundryを検証中（2011年10月～）

コードリーディングの下準備 NATSとは？

NATSとCloud Foundry この実装がNATS Cloud Foundry The building of the Open PaaS OSCON2011 http://www.slideshare.net/derekcollison/oscon-2011

NATSとCloud Foundry(2) 青い矢印が NATSのメッセージ Cloud Foundry The building of the Open PaaS OSCON2011 http://www.slideshare.net/derekcollison/oscon-2011

NATS https://github.com/derekcollison/nats/• A lightweight EventMachine based publish-subscribe messaging system.• Rubyで実装• 依存gem – eventmachine, json_pure, daemons, thin• ver0.4.10ではsingle server design < SPOF

publish-subscribe messaging 受信側はtopicを subscribe送信側はメッセージを topicにpublish • topicを介して多対多で通信するメッセージングモデル • メリット：スケールさせやすい／疎結合にしやすい

EventMachine http://rubyeventmachine.com/• Fast, simple event-processing library for Ruby programs.• 非同期I/O処理を行えるライブラリ• Reactor pattern – Rubyだと他にcool.io(旧rev)など – 他言語であればnode.js, AnyEvent, Twistedなど• 利用例 – thin(httpd), em-websocketなどなど

Reactor pattern• シングルスレッドのイベントループで非同期I/Oを実現するデザインパターン

EventMachineのサンプル1 エコーサーバrequire eventmachinemodule Echo def receive_data(data) send_data(data) endendEM.run do EM.start_server("0.0.0.0", 10000, Echo)end デモ

EventMachineのサンプル2 HTTPクライアントrequire eventmachinehosts = [“www.google.co.jp”, “www.yahoo.co.jp”]hosts_size = hosts.sizeEM.run do hosts.each do |h| http = EM::Protocols::HttpClient.request(:host => h, :port => 80, :request => “/”) http.callback do |response| p response[:status] EM.stop if (hosts_size -= 1) <= 0 end endend デモ

ここまでのまとめ1. Cloud FoundryはNATSを使っている2. NATSはEventMachineを使ったPub/Sub メッセージングシステム3. Pub/Subはメッセージングの一方式4. EventMachineはReactorパターンによる非同期I/Oを行うためのライブラリ5. EventMachineのサンプルを動かしてなんとなく慣れた

NATSのコードリーディング

ファイル構成• lib nats/client.rb NATSクライアント nats/server.rb NATSサーバの起動 nats/server/server.rb NATSサーバ本体 nats/server/connection.rb コネクションのメッセージ処理など nats/server/sublist.rb Subscriberのリスト管理 nats/server/options.rb 起動オプションのパース nats/ext/ JrubyやRuby1.8.6へのパッチなど• bin サーバやクライアントの起動コマンド• spec テストコード• examples サンプルコード• benchmark ベンチーマークコード• lib “cluster” branchのみ nats/server/cluster.rb NATSサーバを束ねるクラスタ本体 nats/server/route.rb クラスタ構成時のルーティング

サンプルを動かす1 Sub subject:foo Pub NATS Sub subject:foo subject:foomessage:hello Server Sub subject:barデモ

サンプルを動かす2 Sub subject:foo.> Pubsubject:foo.bar message:hello NATS Sub subject:foo.* Server Pubsubject:foo.bar.hoge message:hello Sub subject:foo デモ

サンプルを動かす3 queue Sub subject:foo Pub NATS Sub subject:foo subject:foomessage:hello Server 3つのうち Sub どれか1つにpublish subject:fooデモ

NATSサーバの起動 @ lib/nats/server.rb 25行目～• 左：EMのechoサーバ • 右：NATSサーバの開始require eventmachine EM.run do EM.start_server(module Echo NATSD::Server.host, def receive_data(data) NATSD::Server.port, send_data(data) NATSD::Connection end )end endEM.run do EM.start_server("0.0.0.0", 10000, Echo) Echoend

メッセージの送信• SubscribeNATS.start NATS.subscribe(subject) {|msg, _, sub| puts “#{header} Receive on [#{sub}] : ‘#{msg}’” }end（@ bin/nats-sub 35行目）• PublishNATS.start NATS.publish(subject, msg) { NATS.stop }end（@ bin/nats-pub 23行目）

NATSのプロトコル “OP foo queue 2/r/n” 的メッセージが飛ぶ OPが命令• クライアント→サーバ • サーバ→クライアント – PUB – MSG – SUB – OK – UNSUB – ERR – PING – PING – PONG – PONG – CONNECT – INFO – INFO – UNKNOWN – UNKNOWN• lib/nats/server/connection.r • lib/nats/client.rb 446行目～ b 57行目～に受信処理に受信処理

メッセージングの例サンプルを動かす1 の場合Server Sub PubINFO => ** <= CONNECT* <= SUB fooINFO => ** <= CONNECT* <= PUB foo hello!MSG hello! => hello!

Sublistの管理 @ lib/nats/server/sublist.rb• subject “foo”, “bar”, “foo.*”, “foo.>” を実現する仕組みStruct Subscriber :conn NATSD::Connectionのインスタンスstruct SublistLevel :nodes subject => SublistNodeのハッシュ :pwc subject=“*”時のSublistNode :fwc subject=“>”時のSublistNodestruct SublistNode :leaf_nodes NATSD::Subscriber の配列 :next_level SublistLevel

NATSのテスト• rspec• rspec/spec_helper.rb – NatsServerControl超便利

NATSの問題点• 現状single server• “cluster” blanchが存在• 設計方針 Cluster Design Overview https://github.com/derekcollison/nats/ wiki/Cluster-Design

なぜNATSなのか？• 他の案 – AMQP(RabbitMQ) – Storm – RestMS – XMPP• RubyWorld Conf. / Why ruby? – Allows great productivity and rapid iteration – Language perfomance is not always key

Cloud FoundryでのNATS （ちょっとだけ）

NATS Server(NATSD)の起動• @ bin/vcap`#{nats_server} –p #{@uri.port} –P #{@pid_file} –d 2> /dev/null`• 現状、全てのvcapサーバで nats serverが動作してしまう（本来 mbus:// で指定されるサーバ以外は不要）

青い矢印が NATSとCloud NATSの Foundry(2)メッセージ NATSが落ちても Serviceは動くはず？ Cloud Foundry The building of the Open PaaS OSCON2011 http://www.slideshare.net/derekcollison/oscon-2011

まとめ1. NATSはEventMachineを使ったPub/Sub メッセージングシステム2. コード量は小さめだし、コード、テスト（spec）ともに丁寧なので Ruby初級者にもお勧め3. Cluster対応版はまだですか？

質問タイム

サンプルを動かす4 authentication

サンプルを動かす5 reply

NATSの概要他のPaaSでのmessagingの実装heroku 不明 RoutingはErlangベースの独自実装GAE 不明 RabbitMQのProjects involving RabbitMQに”App Engine imprementation”とあるが何に使っているかは不明AppScale 不明未調査TyphoonAE• 情報お待ちしております<(_ _)>

http://www.publickey1.jp	7181
http://satoryudiary.fluxflex.com	143
http://paper.li	20
http://webcache.googleusercontent.com	11
http://a0.twimg.com	4
http://www.slideshare.net	4
http://www.hanrss.com	3
http://translate.googleusercontent.com	1

Reading NATS

by Katsunori Kawaguchi on Oct 18, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

8 Embeds 7,367

Statistics

Reading NATS — Presentation Transcript