Downloaded 48 times
![user/room 8
message/user/sec 0.2
waittime[
ms] 5000
rooms 100 1000 2000 3000 3500 3750
(想定) users 800 8000 16000 24000 28000 30000
(想定)
message/sec 1280 12800 25600 38400 44800 48000
(実測)
message/sec 1270 12783 25560 38328 44787 21054
(Server)CPU [%] 66.5 360.4 404.7 560.9 635.8 444.4
(Server)RAM [%] 0.6 2.4 3.7 6.2 7.2 16.5
RTT Med [ms] 1 2 5 12 19 34
RTT Avg [ms] 14 11 12 14 27 1260
RTT Max [ms] 44 49 75 356 536 62798
End to End Med
[ms] 1 3 8 18 39 460
End to End Avg
[ms] 2 12 13 21 50 3017
End to End Max
[ms] 747 738 754 1003 1315 100979](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-74-320.jpg)
![user/room 8
message/user/sec 1
waittime[
ms] 1000
rooms 100 400 800 900 1000
(想定) users 800 3200 6400 7200 8000
(想定)
message/sec 6400 25600 51200 57600 64000
(実測)
message/sec 6360 25527 48195 53240 25154
(Server)CPU [%] 275.8 618.3 709.3 774.7 766.7
(Server)RAM [%] 0.5 1.1 2.7 3 11.2
RTT Med [ms] 1 1 5 12 5
RTT Avg [ms] 10 7 24 40 494
RTT Max [ms] 45 48 491 1100 34295
End to End Med
[ms] 2 11 36 80 310
End to End Avg
[ms] 10 13 54 120 970
End to End Max
[ms] 554 550 981 2923 44120](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-75-320.jpg)
![user/room 8
message/user/sec 15
waittime[
ms]
66.66666
6666666
7
rooms 10 50 70 80 90 100
(想定) users 80 400 560 640 720 800
(想定)
message/sec 9600 48000 67200 76800 86400 96000
(実測)
message/sec 9096 46047 58600 60764 63539 26390
(Server)CPU [%] 229.8 694.7 776.6 775.6 787.9 786.2
(Server)RAM [%] 0.4 0.5 0.6 0.7 0.7 8
RTT Med [ms] 38 2 7 10 15 24
RTT Avg [ms] 30 14 15 17 23 194
RTT Max [ms] 45 67 93 122 522 20686
End to End Med
[ms] 19 19 24 33 46 73
End to End Avg
[ms] 18 21 27 37 50 293
End to End Max
[ms] 618 631 657 718 1231 39470](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-76-320.jpg)
![user/room 8
message/user/sec 0.2
waittime[
ms] 5000
rooms 100 2000 3750 6250 7500 8750
(想定) users 800 16000 30000 50000 60000 70000
(想定)
message/sec 1280 25600 48000 80000 96000 112000
(実測)
message/sec 1281 25639 48124 78742 94555 97731
(Server)CPU [%] 46.9 312.2 426.8 625 723.2 718
(Server)RAM [%] 2 6.8 9.8 14 17.3 18.7](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-79-320.jpg)
![user/room 8
message/user/sec 1
waittime[
ms] 1000
rooms 100 400 800 1000 1200 1400 1600
(想定) users 800 3200 6400 8000 9600 11200 12800
(想定)
message/sec 6400 25600 51200 64000 76800 89600 102400
(実測)
message/sec 6356 25472 51202 63890 75912 88143 99033
(Server)CPU [%] 139.4 269.1 425 500.3 625.8 699.2 765.3
(Server)RAM [%] 2 3.6 5 5 5.2 5.2 6.6](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-80-320.jpg)
![user/room 8
message/user/sec 15
waittime[
ms]
66.66666
6666666
7
rooms 10 50 70 80 90 100 110 120 130 140
(想定) users 80 400 560 640 720 800 880 960 1040 1120
(想定)
message/sec 9600 48000 67200 76800 86400 96000 105600 115200 124800 134400
(実測)
message/sec 8912 45967 64648 74035 83211 91581 99596 106775 112889 116739
(Server)CPU [%] 161.5 374.2 489.7 535.8 582.1 632.1 666.4 703.7 726.9 784.7
(Server)RAM [%] 2.1 2.3 2.3 2.3 2.3 2.2 1.8 2.6 3 3.4](https://image.slidesharecdn.com/201606185slideshare-160619070041/85/Erlang-OTP-PubSub-81-320.jpg)
Uploaded byYugo Shimizu
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
第5回 ゲームサーバ勉強会 で発表した リアルタイムサーバー〜Erlang/OTPで作るPubSubサーバー〜 の資料です。 ArkPS Server としてオープンソース化予定。
More Related Content
Similar to リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
リアルタイムサーバー 〜Erlang/OTPで作るPubSubサーバー〜
- 1.
- 2. 自己紹介 @yamionp gumi ってところで R&Dをしています サーバーさわりはじめて 15 年 Python 5年 Erlang 6ヶ月
- 3.
- 4.
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14. ServerClient SYN SYN+ACK ACK 最初に Connection を確立する TCPConnection を直接使う
- 15.
- 16. HTTPでもTCPは使っているが Response を返したら Connectionを破棄する （ステートレス） ServerClient
- 17.
- 18.
- 19.
- 20. いろいろあるが・・・ Windows Server は(我々にとって) 運用コストが高い 機能過多 既存システムとの相性 ゲームでの通信に特有な仕様への対応 落としたくない。土日に寝ていられるシステムを
- 21.
- 22.
- 23.
- 24.
- 25. Pub/Sub(出版/購読)モデルとは 非同期メッセージングモデルの一種 Subscribe (購読) しているユーザーにメッセージをPublish (出版) する Sub側は Topic という単位で購読する Pub側は Topic にメッセージを送る Pub側は Sub側を意識する必要がなく、疎結合になる
- 26.
- 27.
- 28.
- 29.
- 30. Room モデルとの違い Room の作成/削除が必要ない Roomの管理が必要ない Sub側が 0 の Topic にも Publish できる Pub側が Topic を Subscribe している必要はない
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. 固定ヘッダ 1 bit 1 6 3 2 Type (メッセージの種類)Length (全体の長さ) SenderTimestamp (送信者時間) ※後述 ReceiverTimesamp (受信者時間) ※後述 Payload (送信内容)
- 37. Payload も連続した TLVの形をとる 1 1 6 3 2 SectionType SectionLength Value
- 38.
- 39.
- 40.
- 41.
- 42. 固定ヘッダ 1 bit 1 6 3 2 Type (メッセージの種類)Length (全体の長さ) SenderTimestamp (送信者時間) ※後述 ReceiverTimesamp (受信者時間) ※後述 Payload (送信内容)
- 43. Client Server Timer Timer 1 1000 SenderReceiver 1 0 ※ ※初回は相手のTimerが わからないので0 送信までに300msかかったので 受け取った1に300を足す Sender Receiver 1300 301 1300 321 この時点で自分のタイマーが 321なのでRTTは20ms 421 送信までに100msかかったので 受け取った1300に100を足す Sender Receiver 421 1400 1420 この時点で自分のタイマーが 1420なのでRTTは20ms521 1520 この時点で自分のタイマーが 1520なのでRTTは20ms Sender Receiver 521 1500 受信から送信までに200msかかったので 受け取った1300に200を足す
- 44.
- 45.
- 46.
- 47.
- 48.
- 49. ステートフル・データレス 状態（ステート）は持つが、データは持たない。 永続化はしない 必要なデータは外部に問い合わせ or 通知(ex. 認証 起動したらすぐ使える状態
- 50. 認証 App PubSub 1.game start 2.IP:Port,Token, Topic 3.Token 4.Token 5.OK 6.OK
- 51.
- 52.
- 53.
- 54.
- 55.
- 56. Erlang採用事例紹介 League of Legends https://engineering.riotgames.com/news/chat-service-architecture-servers Callof Duty https://en.wikipedia.org/wiki/Demonware http://www.erlang-factory.com/upload/presentations/395/ErlangandFirst- PersonShooters.pdf WhatsApp http://www.erlang-factory.com/upload/presentations/558/efsf2012-whatsapp-scaling.pdf Game of War https://erlangcentral.org/senior-erlang-engineer-machine-zone/
- 57.
- 58. プロセスデザイン tcp session session_udp ErlangVM ※system process link link
- 59. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one
- 60.
- 61. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one session がなんらかの理由で Down
- 62. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one 検知した session_sup が session_udp_sup に停止を送り session_udp_sup がそれを受けて session_udpを停止
- 63. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one session_udp の停止を確認して session_udp_sup が停止
- 64. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one 監視下のすべてのプロセスの終了を確認して session_sup が停止
- 65. tcp session session_udp ※ systemprocess session_sup sessions_sup arkps_sup session_udp_sup ErlangVM udp_sup gen_udp simple_one_for_one one_for_all one_for_one one_for_one one_for_one link している tcp も停止
- 66.
- 67.
- 68. Locustを使いました Python製分散負荷試験ツール このためにフル機能の Python クライアントを開発 接続側はどんなに頑張っても限界がくるので数で解決 スポットインスタンス安い m4.largeのスポットインスタンスが t2.medium オンデマンドより安 い
- 69. Locust Slaves PubSub Locust Master m4.2xlargem4.xlarge CPU:8 RAM: 32GB CPU: 4 RAM: 16GB x8
- 70.
- 71.
- 72.
- 73.
- 74. user/room 8 message/user/sec 0.2 waittime[ ms]5000 rooms 100 1000 2000 3000 3500 3750 (想定) users 800 8000 16000 24000 28000 30000 (想定) message/sec 1280 12800 25600 38400 44800 48000 (実測) message/sec 1270 12783 25560 38328 44787 21054 (Server)CPU [%] 66.5 360.4 404.7 560.9 635.8 444.4 (Server)RAM [%] 0.6 2.4 3.7 6.2 7.2 16.5 RTT Med [ms] 1 2 5 12 19 34 RTT Avg [ms] 14 11 12 14 27 1260 RTT Max [ms] 44 49 75 356 536 62798 End to End Med [ms] 1 3 8 18 39 460 End to End Avg [ms] 2 12 13 21 50 3017 End to End Max [ms] 747 738 754 1003 1315 100979
- 75. user/room 8 message/user/sec 1 waittime[ ms]1000 rooms 100 400 800 900 1000 (想定) users 800 3200 6400 7200 8000 (想定) message/sec 6400 25600 51200 57600 64000 (実測) message/sec 6360 25527 48195 53240 25154 (Server)CPU [%] 275.8 618.3 709.3 774.7 766.7 (Server)RAM [%] 0.5 1.1 2.7 3 11.2 RTT Med [ms] 1 1 5 12 5 RTT Avg [ms] 10 7 24 40 494 RTT Max [ms] 45 48 491 1100 34295 End to End Med [ms] 2 11 36 80 310 End to End Avg [ms] 10 13 54 120 970 End to End Max [ms] 554 550 981 2923 44120
- 76. user/room 8 message/user/sec 15 waittime[ ms] 66.66666 6666666 7 rooms10 50 70 80 90 100 (想定) users 80 400 560 640 720 800 (想定) message/sec 9600 48000 67200 76800 86400 96000 (実測) message/sec 9096 46047 58600 60764 63539 26390 (Server)CPU [%] 229.8 694.7 776.6 775.6 787.9 786.2 (Server)RAM [%] 0.4 0.5 0.6 0.7 0.7 8 RTT Med [ms] 38 2 7 10 15 24 RTT Avg [ms] 30 14 15 17 23 194 RTT Max [ms] 45 67 93 122 522 20686 End to End Med [ms] 19 19 24 33 46 73 End to End Avg [ms] 18 21 27 37 50 293 End to End Max [ms] 618 631 657 718 1231 39470
- 77.
- 78. fprof でプロファイリング sendが遅い port_command で非同期にしたら解決 gen_udp/tcp:sendがボトルネックなときにやること http://qiita.com/mururu/items/9b77e49b5b8a2815ceb6 10万/s 出ました
- 79. user/room 8 message/user/sec 0.2 waittime[ ms]5000 rooms 100 2000 3750 6250 7500 8750 (想定) users 800 16000 30000 50000 60000 70000 (想定) message/sec 1280 25600 48000 80000 96000 112000 (実測) message/sec 1281 25639 48124 78742 94555 97731 (Server)CPU [%] 46.9 312.2 426.8 625 723.2 718 (Server)RAM [%] 2 6.8 9.8 14 17.3 18.7
- 80. user/room 8 message/user/sec 1 waittime[ ms]1000 rooms 100 400 800 1000 1200 1400 1600 (想定) users 800 3200 6400 8000 9600 11200 12800 (想定) message/sec 6400 25600 51200 64000 76800 89600 102400 (実測) message/sec 6356 25472 51202 63890 75912 88143 99033 (Server)CPU [%] 139.4 269.1 425 500.3 625.8 699.2 765.3 (Server)RAM [%] 2 3.6 5 5 5.2 5.2 6.6
- 81. user/room 8 message/user/sec 15 waittime[ ms] 66.66666 6666666 7 rooms10 50 70 80 90 100 110 120 130 140 (想定) users 80 400 560 640 720 800 880 960 1040 1120 (想定) message/sec 9600 48000 67200 76800 86400 96000 105600 115200 124800 134400 (実測) message/sec 8912 45967 64648 74035 83211 91581 99596 106775 112889 116739 (Server)CPU [%] 161.5 374.2 489.7 535.8 582.1 632.1 666.4 703.7 726.9 784.7 (Server)RAM [%] 2.1 2.3 2.3 2.3 2.3 2.2 1.8 2.6 3 3.4
- 82.
- 83. App PubSub Private Topic Private Topic matchingstart list matching Private Topic battle starter
- 84.
- 85. App PubSub PubSub PubSub 1. battle info 2.割り振り先をMySQLから取得 3. IP:Port, Token, Topic 4. 接続開始 監視サーバー サーバー一覧
- 86. App PubSub PubSub PubSub 1. Down 2. 検知 3.リスト更新 4. 切断されたので問い合わせ 5. Downを確認して割り振り先を決定・保存 6. 新割り振り先を案内 監視サーバー
- 87.
- 88. Room Worker Room情報をゲームロジックまで含めて面倒をみる 最初に Subscribeする ブローカーからはクライアント扱い
- 89. App PubSub Battle Topic 6.battle info2.battle start room worker 3.room create 4.subscribe 5. ok 7. IP:Port, Token, Topic 8. subscribe
- 90.
- 91.
- 92.
- 93.
- 94.
- 95.