1. Implements the RPS/RFS for FreeBSD @gokzy 1

2. 誰? 八王子の山奥の大学院生 夕方は夕日に照らされる高尾山がキレイ 夜は星がキレイ twitter @gokzy 2

3. GSoCで何やんの? Implements the RPS/RFS for FreeBSD Mono-queue NICで受信処理をスケールさせる Linux 2.6.35に入ったRPS/RFSを移植する 参考になるコードがあって簡単 それでいて金がもらえて(ﾟ∀ﾟ)ｳﾏｳﾏ 3

4. 世の中には2種類のNICがある 4 Multi-queue 複数のCPUに割り込み可 queueを複数もつ お高い高級品 Mono-queue 1CPUにのみ割り込み可 queueが１つ お求めやすい庶民の品 Serverでもオンボはこれのことも

5. 世の中には2種類のNICがある 5 Multi-queue 複数のCPUに割り込み可 queueを複数もつ お高い高級品 Mono-queue 1CPUにのみ割り込み可 queueが１つ お求めやすい庶民の品 Serverでもオンボはこれのことも

6. Mono-queue NICに高負荷をかける 不幸になる パケットがドロップしようが1CPUに負荷が集中 6

7. FreeBSDの TCP受信処理を見ましょう 7 どうしてそうなるの?

8. FreeBSDのTCP受信処理の流れ 8

9. Multi-queue NICだと 9

10. Mono-queue NICだと 10

11. 処理を分散させる 11

12. Receive Packet Steering - RPS Mono-queueのNICで 割り込みが1CPUにしかかけられない プロトコルスタック処理を分散させる netisr threadのディスパッチ先をフロー毎に振り分ける SMPを有効活用できる 12

13. RPSでのディスパッチ先の決め方 同一フローは同じnetisrにディスパッチ オーダーを保証するため 宛先CPUの決め方 hashを求める IPアドレス(src,dst)とTCP,UDPポート(src,dst)から 次式でディスパッチ先のCPUが決まる hash値 % netisr thread数 十数行追加するだけの簡単なお仕事 これで$2000 GET 13

14. これ気になりますよね CPUをまたいでいる データローカリティの低下 14

15. ディスパッチ先をアプリケーションが動いているCPUに 15

16. Receive Flow Steering - RFS パケットの受信処理を，そのパケットの宛先のアプリケーションが動いているCPUでやる データローカリティが向上 16

17. RFSでのディスパッチ先の決め方 17 青プロセスが宛先のパケットを受信

18. RFSでのディスパッチ先の決め方 18 青プロセスが動いているCPU3のqueueに積む

19. 青プロセスが 19 青プロセス向けのパケット受信

20. 青プロセスがCPU2に移動 20 青プロセス向けのパケット受信

21. CPU2のqueueに積むと… 21 順序が入れ替わる可能性がある

22. プロセスの移動が発生し同一フローで未処理がある場合 22 パケットが残っているqueueに積む

23. フローごとにqueueの長さを管理 23 ここでは青パケットはのqueue_lenは3

24. ディスパッチ先を変えない条件 24 queue_len > 0 なら元のnetisrのqueueに積む

25. ディスパッチ先を変更する条件 queue_len == 0 にると移動 25

26. まとめ Mono-queue NICをSMP環境で有効活用!! パケットのオーダーを守るように実装 ちなみにLinuxの実装もだいたい同じ 2.6.35以降なら即試せます /sys/class/net/eth[0-9]/queues/rx-[0-9]/rps_cpus /sys/class/net/eth[0-9]/queues/rx-[0-9]/rps_flow_cnt /proc/sys/net/core/rps_sock_flow_entries 26