More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to Cloud Foundryは何故動くのか
Similar to Cloud Foundryは何故動くのか (20)
More from Kazuto Kusama
More from Kazuto Kusama (20)
Recently uploaded
Recently uploaded (14)
Cloud Foundryは何故動くのか
- 2. @jacopen Kazuto Kusama NTT Communications ! Cloudn PaaSの開発・運用をやっています
- 3. 最近
- 6. 質問
- 7. はじめに 今回の発表、元々は ! • Cloud Foundryのアーキテクチャ概要に軽く触れる • V2で変わったところを中心に、少し深く追ってみる ! という予定でした
- 8. Open Cloud Summit Japan とかで喋りました
- 10. Cloud Foundryに Sinatraアプリをデプロイ $ ls Gemfile README.md dora.rb instances.rb logging_service.rb spec stress_testers.rb Gemfile.lock config.ru get_instance_cookie_jars.sh log_utils.rb scripts stress vendor ! https://github.com/cloudfoundry/cf-acceptance-tests/tree/master/assets/dora
- 11. [23:08] jacopen@cape ~/Project/dora ✘╹◡╹✘ (master) cf push dora Creating app dora in org jacopen / space jacopen-space as admin... OK ! Creating route dora.107.22.72.200.xip.io... OK ! Binding dora.107.22.72.200.xip.io to dora... OK ! Uploading dora... Uploading from: /Users/jacopen/Project/dora 1.2M, 36 files OK ! Starting app dora in org jacopen / space jacopen-space as admin... OK （中略） 1 of 1 instances running ! App started ! Showing health and status for app dora in org jacopen / space jacopen-space as admin... OK ! requested state: started instances: 1/1 usage: 256M x 1 instances urls: dora.107.22.72.200.xip.io ! state since cpu memory disk #0 running 2014-04-21 11:09:25 PM 0.0% 72.2M of 256M 0 of 1G
- 12. ok ! [23:09] jacopen@cape ~/Project/dora ✘╹◡╹✘ (master) cf apps Getting apps in org jacopen / space jacopen-space as admin... OK ! name requested state instances memory disk urls dora started 1/1 256M 1G dora. 107.22.72.200.xip.io
- 13. cf push
- 16. アジェンダ Cloud Foundryの仕組みを理解するための3章立て ! • Cloud Foundryを外から叩いて、中身を推測する • Cloud Foundryの各コンポーネントの役割を知る • Cloud Foundryのコンポーネント間通信を知る
- 17. 今回やらないこと ! • WardenコンテナやBuildpackなどの解説 • MySQLやPostgresなどのService系の解説 • loggregatorなどの、周辺サービスの解説
- 18. では始めましょう
- 20. CF_TRACE=true [23:49] jacopen@cape ~/Project/dora ✘╹◡╹✘ export CF_TRACE=true [23:49] jacopen@cape ~/Project/dora ✘╹◡╹✘ cf push dora ! REQUEST: GET /v2/spaces/dbf6ed0a-3108-45d8-9c78-a512d5071358/apps?q=name%3Adora&inline-relations-depth=1 HTTP/1.1 Host: api.107.22.72.200.xip.io Accept: application/json Authorization: [PRIVATE DATA HIDDEN] Content-Type: application/json User-Agent: go-cli 6.0.0-90db382 / darwin ! ! ! RESPONSE: HTTP/1.1 200 OK Content-Length: 107 Content-Type: application/json;charset=utf-8 Date: Mon, 21 Apr 2014 14:49:13 GMT Server: nginx X-Content-Type-Options: nosniff X-Vcap-Request-Id: 18dcd4aefdd000506e49c4b5cf739aaa::65195823-dac9-410a-855a-4ef5ba249198 ! { "total_results": 0, "total_pages": 0, "prev_url": null, "next_url": null, "resources": [ ! ] } Creating app dora in org jacopen / space jacopen-space as admin...
- 22. cf pushを覗いてみよう
- 23. GET /v2/spaces/dbf6ed0a-3108-45d8-9c78-a512d5071358/apps?q=name%3Adora&inline-relations-depth=1 HTTP/1.1 HTTP/1.1 200 OK !POST /v2/apps?async=true HTTP/1.1 {"name":"dora","space_guid":"dbf6ed0a-3108-45d8-9c78-a512d5071358"} HTTP/1.1 201 Created !GET /v2/shared_domains HTTP/1.1 HTTP/1.1 200 OK !GET /v2/domains?inline-relations-depth=1&q=name%3A107.22.72.200.xip.io HTTP/1.1 HTTP/1.1 200 OK !GET /v2/routes?inline-relations-depth=1&q=host%3Adora%3Bdomain_guid%3A524ba14d-4d3f-495f-a2c7-a5ed25a70e81 HTTP/1.1 HTTP/1.1 200 OK !POST /v2/routes?async=true&inline-relations-depth=1 HTTP/1.1 {"host":"dora","domain_guid":"524ba14d-4d3f-495f-a2c7-a5ed25a70e81","space_guid":"dbf6ed0a-3108-45d8-9c78-a512d5071358"} HTTP/1.1 201 Created !PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/routes/ed912294-be29-4013-8b1c-735851acee24 HTTP/1.1 HTTP/1.1 201 Created !PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/bits?async=true HTTP/1.1 Content-Type: multipart/form-data; HTTP/1.1 201 Created !GET /v2/jobs/6dd46fe7-40b0-41d1-94aa-dd2ee80fd3b2 HTTP/1.1 HTTP/1.1 200 OK (queued) !GET /v2/jobs/6dd46fe7-40b0-41d1-94aa-dd2ee80fd3b2 HTTP/1.1 HTTP/1.1 200 OK (finished) !CONNECTING TO WEBSOCKET: wss://loggregator.107.22.72.200.xip.io:443/tail/?app=0e948568-aa90-47e9-a128-9ff3cc680600 !PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600?async=true&inline-relations-depth=1 HTTP/1.1 {"state":"STARTED"} !GET /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/instances HTTP/1.1 HTTP/1.1 400 Bad Request {"code":170002,"description":"App has not finished staging","error_code":"CF-NotStaged"} !GET /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/instances HTTP/1.1 api.107.22.72.200.xip.io と 何かやりとりしてる
- 24. 分かったこと
- 26. cf push cf pushは、APIをいろいろ叩いてデプロイする APIを提供してくれる 何か GET xxxx PUT xxxx POST xxxx GET xxxx アプリを動かす何か
- 27. アクセス先を調べよう
- 30. あれ？
- 31. APIも、Appも、同じIPアドレス $ nslookup api.107.22.72.200.xip.io Server: 192.168.11.1 Address: 192.168.11.1#53 ! Non-authoritative answer: api.107.22.72.200.xip.io canonical name = api.1jkk1uz.xip.io. Name: api.1jkk1uz.xip.io Address: 107.22.72.200 ! $ nslookup dora.107.22.72.200.xip.io Server: 192.168.11.1 Address: 192.168.11.1#53 ! Non-authoritative answer: dora.107.22.72.200.xip.io canonical name = dora.1jkk1uz.xip.io. Name: dora.1jkk1uz.xip.io Address: 107.22.72.200
- 33. cf scale $ cf scale -i 3 -m 256M dora Scaling app dora in org jacopen / space jacopen-space as admin... OK cf scaleコマンドで、稼働する「インスタンス数」 「メモリサイズ」などを変更できる
- 36. アプリが死ぬとどうなる？
- 38. ポートが変わった
- 40. 結果
- 46. 全コンポーネントを1VMに集約できる Cloud Controller (Ruby) Router (Golang) DEA (Ruby) Health Manager (Golang) VM
- 54. Cloud Controller Router DEA Health Manager router.register Routerは、収集した情報を元に アクセスを分配する dora.107.22.72.200.xip.io => 10.244.0.26:61032 api.107.22.72.200.xip.io => 10.244.0.138:9022 api.107.22.72.200.xip.io dora.107.22.72.200.xip.io
- 55. Cloud Controller Router DEA Health Manager router.register 同一URLに複数の振り先でも大丈夫 dora.107.22.72.200.xip.io => 10.244.0.26:61032 dora.107.22.72.200.xip.io => 10.244.0.27:58719 api.107.22.72.200.xip.io => 10.244.0.138:9022 api.107.22.72.200.xip.io => 10.244.0.139:9022 api.107.22.72.200.xip.io dora.107.22.72.200.xip.io Cloud Controller DEA
- 57. Cloud Controllerとは APIを提供するコンポーネント。 ! • cfコマンド等からアプリケーションの受け取り • DEAに対してアプリの起動・停止の指示 • Service(データベース等)の作成の指示 ! などなど、Cloud Foundry全体に対しての コントロールを行う。
- 58. POST /v2/apps?async=true HTTP/1.1 {"name":"dora","space_guid":"dbf6ed0a-3108-45d8-9c78-a512d5071358"} HTTP/1.1 201 Created ! GET /v2/shared_domains HTTP/1.1 HTTP/1.1 200 OK ! GET /v2/domains?inline-relations-depth=1&q=name%3A107.22.72.200.xip.io HTTP/1.1 HTTP/1.1 200 OK ! GET /v2/routes?inline-relations-depth=1&q=host%3Adora%3Bdomain_guid%3A524ba14d-4d3f-495f-a2c7-a5ed25a70e81 HTTP/1.1 HTTP/1.1 200 OK ! POST /v2/routes?async=true&inline-relations-depth=1 HTTP/1.1 {"host":"dora","domain_guid":"524ba14d-4d3f-495f-a2c7-a5ed25a70e81","space_guid":"dbf6ed0a-3108-45d8-9c78-a512d5071358"} HTTP/1.1 201 Created ! PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/routes/ed912294-be29-4013-8b1c-735851acee24 HTTP/1.1 HTTP/1.1 201 Created ! PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/bits?async=true HTTP/1.1 Content-Type: multipart/form-data; HTTP/1.1 201 Created ! GET /v2/jobs/6dd46fe7-40b0-41d1-94aa-dd2ee80fd3b2 HTTP/1.1 HTTP/1.1 200 OK (queued) ! GET /v2/jobs/6dd46fe7-40b0-41d1-94aa-dd2ee80fd3b2 HTTP/1.1 HTTP/1.1 200 OK (finished) ! CONNECTING TO WEBSOCKET: wss://loggregator.107.22.72.200.xip.io:443/tail/?app=0e948568-aa90-47e9-a128-9ff3cc680600 ! PUT /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600?async=true&inline-relations-depth=1 HTTP/1.1 {"state":"STARTED"} ! GET /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/instances HTTP/1.1 HTTP/1.1 400 Bad Request {"code":170002,"description":"App has not finished staging","error_code":"CF-NotStaged"} ! GET /v2/apps/0e948568-aa90-47e9-a128-9ff3cc680600/instances HTTP/1.1 ⇐appの作成 ⇐domainの取得 ⇐routesの確認 ⇐routesの作成 ⇐appとroutesの紐付け ⇐ソースのアップロード ⇐appを起動
- 60. DEAとは ユーザーアプリを動かすためのコンポーネント。 Droplet Execution Agentの略。 ! CF v2では、ユーザーアプリのStaging作業(Rubyの bundle installなど)も担当する。 ! DEAはWardenというLinuxコンテナを使い、ユーザー アプリを動かす(が、今回は触れない)
- 63. Golden Packageの保存 Cloud Controller Router DEA Health Manager cf push Gemfile Gemfile.lock vendor/ lib/ bin/ config.ru
- 66. Cloud Controller Router DEA Health Manager cf scale -i 3 Gemfile Gemfile.lock vendor/ lib/ bin/ config.ru DEA
- 67. Start依頼 (dea.start) Cloud Controller Router DEA Health Manager cf scale -i 3 Gemfile Gemfile.lock vendor/ lib/ bin/ config.ru DEA
- 68. Start依頼 (dea.start) Cloud Controller Router DEA Health Manager cf scale -i 3 Gemfile Gemfile.lock vendor/ lib/ bin/ config.ru DEA
- 86. NATSとは ! Publish-Subscribeモデルの軽量メッセージングシステム ! Cloud Foundryの生みの親、Derek Collison氏が開発。 Cloud Foundry登場時から存在する、アーキテクチャの キモになるシステム。 ! 元々はRubyで、EventMachineを使って実装されていた。 現在はGoで実装された、gnatsdになっている
- 89. Publish-Subscribeモデル Publisher Subscriber NATS Cloud Controller DEA Router Subject: router.register {“host":"10.244.0.138","port":9022,"uris": ["api.107.22.72.200.xip.io"]} Subject: router.register {“host":"10.244.0.111","port":37902,"uris": ["dora.107.22.72.200.xip.io"]}
- 93. Cloud Foundryのアーキテクチャ ! • NATSを中心とした、疎結合なコンポーネント間連携 • スケールしやすい！ • 自律分散型システム • 管理する情報は必要最低限 • セルフヒーリング • 要は勝手に治る • SPoF(単一障害点)は排除 • ただし最近までのNATSを除く
- 95. CF v1 と v2 の違い • 大まかなアーキテクチャは変わっていない • DEAがDEAngになり、WardenというLinux コンテナでアプリを動かすように • いろんなコンポーネントがGoに書き換えられた • HerokuのBuildpackが使えるように • APIの互換性は一切無し！