20201021 Технополис: Сетевой стек

Сетевой стек
Дмитрий Самсонов

Содержание
● Модель OSI
● Сетевая карта (NIC)
● Сетевой стек Linux
○ Пакеты
○ Соединения
○ User-space network stack
● TCP
○ Cumulative acknowledgment
○ Selective acknowledgment
○ Flow control
○ Congestion control
● DNS
● HTTP
● HTTPS
2

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
3

Модель OSI 5
DATA
DATA
DATA
DATA
DATA
DATA
DATA7 GET / HTTP/1.1 / HTTP/1.1 200 OK
6 Content-Type
5 IP:PORT
4 SRC/DST Port
3 SRC/DST IP
2 SRC/DST MAC
1
TCP
IP TCP
IP TCP
IP TCP
Ethernet frame
Ethernet packet
HTTP соединение через SOCKS туннель
SOC
KS
MIME
Ethernet frame
SOC
KS
SOC
KS
SOC
KS
SOC
KS
MIME
MIME
MIME
MIME
MIME

Layer 7 6DATA
HTTP
FTP
SMTP
DNS
Ваш протокол

Layer 6
ASCII
MIDI
MPEG
JPEG
MIME
7DATAMIME

Layer 5
Named pipe
NetBIOS
PPTP
SOCKS
SPDY (deprecated)
8DATA
SOC
KS
MIME

OSI model vs Internel protocol suite 9

OSI model vs Internel protocol suite 10
“… Thus, in the OSI model, SSL/TLS must be in layer 6 or 7, and, at the
same time, in layer 4 or below. The conclusion is unescapable: the OSI
model does not work with SSL/TLS. TLS is not in any layer…”
https://security.stackexchange.com/questions/93333/what-layer-is-tls

Layer 4
UDP
● DNS
● SNMP
● SYSLOG
● DHCP
● NTP
● VPN
11DATATCP
SOC
KS
MIME

Layer 4
TCP
● FTP
● SSH
● TELNET
● SMTP
● HTTP
● IMAP
12DATATCP
SOC
KS
MIME

UDP vs TCP 13
UDP TCP
Данные могут теряться Гарантия доставки
Порядок пакетов может перемешиваться Гарантия сохранения последовательности
Мало проверок Много проверок
Максимальный объём данных - 1 пакет Максимальный объём данных - любой

Layer 3
IP
ICMP
IPsec
14DATAIP TCP
SOC
KS
MIME

IP static routing 15DATAIP TCP
SOC
KS
MIME

SOC
KS
MIME
Destination Gateway Genmask Iface
0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
netstat -r
ip route

SOC
KS
MIME
0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0

SOC
KS
MIME
0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0

SOC
KS
MIME

SOC
KS
MIME
?

SOC
KS
MIME
ROUTER A
0.0.0.0 192.168.168.1 0.0.0.0 eth2
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.2.0 0.0.0.0 255.255.255.0 eth1
192.168.168.0 0.0.0.0 255.255.255.0 eth2
0.0.0.0 172.16.3.1 0.0.0.0 eth0
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth1
ROUTER B

SOC
KS
MIME
?

SOC
KS
MIME
ROUTER A
0.0.0.0 192.168.168.1 0.0.0.0 eth2
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.2.0 0.0.0.0 255.255.255.0 eth1
192.168.168.0 0.0.0.0 255.255.255.0 eth2
0.0.0.0 172.16.3.1 0.0.0.0 eth0
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth1
ROUTER B

SOC
KS
MIME
ROUTER A
0.0.0.0 192.168.168.1 0.0.0.0 eth2
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.2.0 0.0.0.0 255.255.255.0 eth1
192.168.168.0 0.0.0.0 255.255.255.0 eth2
172.16.1.0 172.16.3.2 255.255.255.0 eth0
0.0.0.0 172.16.3.1 0.0.0.0 eth0
172.16.3.0 0.0.0.0 255.255.255.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth1
ROUTER B

IP dynamic routing 29DATAIP TCP
SOC
KS
MIME
OSPF

SOC
KS
MIME
BGP

SOC
KS
MIME
BGP AS PATH

SOC
KS
MIME
BGP AS PATH
Короче - быстрее

SOC
KS
MIME
Static routes - Offline navigation Dynamic routes - Online navigation

Layer 2
ARP
Bond/Team/LAG
Vlan
34DATAIP TCPEthernet frame
SOC
KS
MIME

Layer 2 35DATAIP TCPEthernet frame
SOC
KS
MIME
ip address
ifconfig
ipconfig

0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
PACKET HEADER:
SRC: 172.16.1.1 DST:
192.168.1.1
SRC MAC: AA:AA:AA:AA:AA:AA DST MAC: ?
SOC
KS
MIME
192.168.1.1

SOC
KS
MIME

0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
PACKET HEADER:
SRC: 172.16.1.1 DST:
192.168.1.1
SRC MAC: AA:AA:AA:AA:AA:AA DST MAC: ?
SOC
KS
MIME
192.168.1.1

Layer 2
ARP
# arp -an
141.23.56.23 at
a4:6e:f4:59:83:ab
on eth1
SOC
KS
MIME

0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
PACKET HEADER:
SRC: 172.16.1.1 DST:
192.168.1.1
SRC MAC: AA:AA:AA:AA:AA:AA DST MAC:
BB:BB:BB:BB:BB:BB
SOC
KS
MIME

0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
PACKET HEADER:
SRC: 172.16.1.1 DST:
192.168.1.1
SRC MAC: ? DST
MAC: ?
SOC
KS
MIME

0.0.0.0 172.16.1.1 0.0.0.0 eth0
172.16.1.0 0.0.0.0 255.255.255.0 eth0
PACKET HEADER:
SRC: 172.16.1.1 DST:
192.168.1.1
SRC MAC: CC:CC:CC:CC:CC:CC DST MAC:
DD:DD:DD:DD:DD:DD
SOC
KS
MIME

https://ok.ru
Запрос от клиента (1.1.1.2):
1. Dns » IP
Ok.ru » 5.61.23.11
44

https://ok.ru
1. Dns » IP
Ok.ru » 5.61.23.11
2. IP » route
5.61.23.11 » 1.1.1.1 (default gw)
45

https://ok.ru
1. Dns » IP
Ok.ru » 5.61.23.11
2. IP » route
5.61.23.11 » 1.1.1.1 (default gw)
3. Route IP » MAC
1.1.1.1 » ff:de:fb:1a:94:41
46

https://ok.ru
1. Dns » IP
Ok.ru » 5.61.23.11
2. IP » route
5.61.23.11 » 1.1.1.1 (default gw)
3. Route IP » MAC
1.1.1.1 » ff:de:fb:1a:94:41
47
На каждом маршрутизаторе

https://ok.ru
1. Dns » IP
Ok.ru » 5.61.23.11
2. IP » route
5.61.23.11 » 1.1.1.1 (default gw)
3. Route IP » MAC
1.1.1.1 » ff:de:fb:1a:94:41
Ответ от сервера (5.61.23.11):
1. IP » route
1.1.1.2 » 5.61.23.1 (default gw)
2. Route IP » MAC
5.61.23.1 » ff:00:0c:9f:f0:25
48

Layer 2
VLAN
SOC
KS
MIME

Bond
failover
Bond
load-balancing
SOC
KS
MIME

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
51

Сетевая карта (NIC)
Что умеют сетевые карты?
ethtool -k eth0 - offload CPU work to NIC
TSO, GSO, GRO...
52

ethtool -s eth0 - ethernet speed
auto, 10, 100, 1000...
53

ethtool -a eth0 - ethernet flow control
Свитч/NIC могут отправить друг-другу pause frame, если ring buffer
заполнен и новые данные не могут быть приняты. В этом случае
вторая сторона может попытаться временно сохранить пакет у себя
в буффере.
54

ethtool -c eth0 - interrupt coalescing
Частота hw interrupt.
55

ethtool -g eth0 - ring buffer size
56

ethtool -n eth0 - RSS hash settings and NIC “firewall”
Позволяет фильтровать трафик на уровне NIC, не задействуя CPU.
57

ethtool -l eth0 - multiqueue
Количество очередей.
58

ethtool -x eth0 - receive flow hash indirection table.
Можно отправлять полученные пакеты не во все очереди (и
соответственно ядра процессора) или отправлять разное количество
пакетов в разные очереди.
59

ethtool --show-priv-flags eth0 - manufacturer specific settings
Всё что выходит за рамки стандартного функционала сетевых карт.
60

ethtool -m eth0 - port module specific settings.
Настройки и статистика модульного порта сетевой карты (SFP+,
QSFP).
61

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
62

Сетевой стек Linux 63

Сетевой стек Linux
Что умеет сетевой стек Linux?
64

Сетевой стек Linux
Что умеет сетевой стек Linux?
Много всего!
65
# uname -r
5.2.7-1.el7.elrepo.x86_64
# sysctl -a | awk '/^net./ && !/(eth|lo|lan|wan|bond)[0-9]*./
{count++} END {print count}'
490

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
66

Сетевой стек Linux: пакеты 67
TX
Application
Socket TX buffer
Kernel TX queue (qdisc)
NIC Driver TX ring buffer
NIC internal buffer
RX
Application
Socket RX buffer
[Kernel RX queue (backlog)]
NIC Driver RX ring buffer
NIC internal buffer

Сетевой стек Linux: TX 68
TX Как потыкать палкой
Socket TX buffer sysctl net.ipv4.tcp_wmem or SO_SNDBUF
Kernel TX queue (qdisc) ip link | grep "qlen.*" or discipline dependent
NIC Driver TX ring buffer ethtool -g ethX

Сетевой стек Linux: RX 69
RX Как потыкать палкой
Socket RX buffer sysctl net.ipv4.tcp_rmem or SO_RCVBUF
[Kernel RX queue
(backlog)]
sysctl net.core.netdev_max_backlog (non-
NAPI or RPS)
NIC Driver RX ring buffer ethtool -g ethX

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
70

Сетевой стек Linux: соединения 71
Что умеют соединения?
● SO_SNDBUF
● SO_RCVBUF

● SO_SNDBUF
● SO_RCVBUF
● SO_ACCEPTCONN
● SO_ATTACH_FILTER
● SO_BINDTODEVICE
● SO_BROADCAST
● SO_BSDCOMPAT
● SO_DEBUG
● SO_DETACH_FILTER
● SO_DOMAIN
● SO_DONTROUTE
● SO_ERROR
● SO_KEEPALIVE
● SO_LINGER
● SO_MARK
● SO_OOBINLINE
● SO_PASSCRED
● SO_PEEK_OFF
● SO_PEERCRED
● SO_PRIORITY
● SO_PROTOCOL
● SO_RCVBUFFORCE
● SO_RCVLOWAT
● SO_RCVTIMEO
● SO_REUSEADDR
● SO_REUSEPORT
● SO_SNDBUFFORCE
● SO_SNDLOWAT
● SO_SNDTIMEO
● SO_TIMESTAMP
● SO_TYPE
● TCP_CA_NAME_MAX
● TCP_CONGESTION
● TCP_CORK
● TCP_DEFER_ACCEPT
● TCP_INFO
● TCP_KEEPCNT
● TCP_KEEPIDLE
● TCP_KEEPINTVL
● TCP_LINGER2
● TCP_MAXSEG
● TCP_NODELAY
● TCP_QUICKACK
● TCP_SYNCNT
● TCP_SYNQ_HSIZE
● TCP_USER_TIMEOUT
● TCP_WINDOW_CLAMP

● SO_KEEPALIVE - поддерживать соединение открытым, отсылая
keepalive пакеты (в Linux по умолчанию 2 часа!)
● SO_REUSEADDR (net.ipv4.tcp_tw_reuse) - переиспользовать TIME_WAIT
соединения (меньше шансов, что закончаться доступные сокеты)
● SO_REUSEPORT - разрешить слушать порт нескольким
процессам/тридам (быстрое открытие входящих соединений)
● TCP_CORK - отсылать данные пачками (увеличивает throughput, для
малоактивных соединений, выключать или использовать вместе с
TCP_QUICKACK)
● TCP_NODELAY - отсылать данные как можно быстрее (уменьшает
latency)
● TCP_DEFER_ACCEPT - не будить приложение, пока не придут
реальные данные

Моё приложение слушает порт и обслуживает соединения!
Я всё контролирую!

Моё приложение слушает порт и обслуживает соединения!
Я всё контролирую!
Всё делает ядро:
● слушает порт
● устанавливает соединения
● поддерживает tcp keepalive
● закрывает соединения
Приложение только отдаёт распоряжения (и то не всегда).

Лимиты соединений
● net.ipv4.tcp_max_syn_backlog - SYN received, SYNACK sent
● net.core.somaxconn or listen(sockfd,SOMAXCONN) - ACK received,
ожидает обработки приложением

И всё?

Неа

Traffic shaping (десятки алгоритмов)
Policy routing
Firewall (десятки расширений)
Bridging
TLS (!)

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
80

Сетевой стек Linux: User space network stack 81

DPDK
Netmap
mTCP
Snabbswitch
OpenOnload

DPDK
Netmap
mTCP
Snabbswitch
OpenOnload
DPDK L4 Load Balancer by NFWare
http://www.highload.ru/2017/abstracts/2858.html

Сетевой стек Linux: XDP 84

Сетевой стек Linux: XDP 85
Устройства не монополизированы:
● Работают стандартные утилиты
● Работают стандартный мониторинг
● Работает стандартно

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
86

Терминология: RTT 88

0 - 100ms Respond to a user action within this time window and users feel like the result is immediate. Any
longer, and the connection between action and reaction is broken.
100 - 300ms Users experience a slight perceptible delay.
300 - 1000 ms Within this window, things feel part of a natural and continuous progression of tasks. For most
users on the web, loading pages or changing views represents a task.
1000+ms Beyond 1 second, the user loses focus on the task they are performing.
10,000+ms The user is frustrated and is likely to abandon the task; they may or may not come back later.
https://developers.google.com/web/fundamentals/performance/rail

3G 4G
DNS lookup 200 ms 100 ms
TCP handshake 200 ms 100 ms
TLS handshake 200–400 ms 100–200 ms
HTTP request 200 ms 100 ms
Total latency overhead 200–1000 ms 100–500 ms

Терминология: MTU, MSS 95

TCP: подтверждение получения каждого пакета 96

TCP: пропускная способность 97
С какой максимальной скоростью можно передавать данные через 1
TCP соединение при MTU=1500byte и RTT=20ms?

TCP: пропускная способность 98
TCP соединение при MTU=1500byte и RTT=20ms?
throughput=MTU/RTT
throughput=1500/20=75byte/ms=75*8*1000/1024/1024=0.57Mbit/s
Маловато будет!

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
99

TCP: Cumulative acknowledgment 100
192.168.168.15.51480 > 80.249.99.148.80: ack 40565
80.249.99.148.80 > 192.168.168.15.51480: seq 40565:41985
80.249.99.148.80 > 192.168.168.15.51480: seq 41985:43405
80.249.99.148.80 > 192.168.168.15.51480: seq 43405:44825
80.249.99.148.80 > 192.168.168.15.51480: seq 44825:46245
80.249.99.148.80 > 192.168.168.15.51480: seq 46245:47665
192.168.168.15.51480 > 80.249.99.148.80: ack 47665
Sequence number
Cumulative acknowledgment

TCP: Cumulative acknowledgment 101
192.168.168.15.51480 > 80.249.99.148.80: ack 40565
80.249.99.148.80 > 192.168.168.15.51480: seq 40565:41985
80.249.99.148.80 > 192.168.168.15.51480: seq 41985:43405
80.249.99.148.80 > 192.168.168.15.51480: seq 43405:44825
80.249.99.148.80 > 192.168.168.15.51480: seq 44825:46245
80.249.99.148.80 > 192.168.168.15.51480: seq 46245:47665

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
102

TCP: Selective acknowledgment and retransmit 103
192.168.168.15.51480 > 80.249.99.148.80: ack 40565
80.249.99.148.80 > 192.168.168.15.51480: seq 40565:41985
80.249.99.148.80 > 192.168.168.15.51480: seq 41985:43405
80.249.99.148.80 > 192.168.168.15.51480: seq 43405:44825
80.249.99.148.80 > 192.168.168.15.51480: seq 44825:46245
80.249.99.148.80 > 192.168.168.15.51480: seq 46245:47665
192.168.168.15.51480 > 80.249.99.148.80: ack 40565, options
[sack 1 {41985:40565}]
80.249.99.148.80 > 192.168.168.15.51480: seq 40565:41985
Selective acknowledgment Retransmit

TCP: Bandwidth-delay product 104
Bandwidth-delay product - количество битов информации, получение
которых ещё не подтверждено.
Нужно ли ограничивать?

TCP соединение при Bandwidth=1Gbit/s?

С какой максимальной скоростью можно получать данные через 1 TCP
соединение при Bandwidth=1Gbit/s?

TCP: Bufferbloat 107
Больше BDP » больше queue » больше latency » больше packet drop »
больше retransmit » меньше throughput
Packet queue (Bufferbloat)
Gateway
Server Client

С какой максимальной скоростью можно принимать/отправлять
данные через 1 TCP соединение при Bandwidth=1Gbit/s?
Со скоростью самого медленного участка пути.

TX
Application
Socket TX buffer
NIC internal buffer
RX
Application
Socket RX buffer
NIC internal buffer

TCP: Flow control 110
Сколько данных можно отправить, чтобы принимающее приложение
не захлебнулось и не переполнились буферы?
Хватает ли ресурсов приложению на принимающей стороне?
Не занято ли приложение чем-то другим?

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
111

TX
Application
Socket TX buffer
NIC internal buffer
RX
Application
Socket RX buffer
NIC internal buffer

TCP: Flow control: TCP Window 113
min( free space in client socket buffer - in flight traffic,
free space in server socket buffer)

TCP соединение при BDP=65KB, RTT=20ms, Bandwidth=1Gbit/s?
throughput=BDP/RTT
throughput=65/0.02=3250KB/s=3250*8/1024=25Mbit/s
Маловато будет!

TCP: Flow control: TCP Window scaling 116
Windows scale TCP option max 2^14
Window size = win * 2^window scale
Maximal window = 1GB

TCP: Congestion control 117
Application
Socket buffer
Kernel queue
NIC Driver ring buffer
NIC internal buffer
Почему пропадают пакеты?
Почему растёт latency?
Где bufferbloat?
На сколько нам снизить скорость
отсылки данных?
Как узнать, что скорость можно
увеличить опять?
Packet queue (Bufferbloat)
Gateway1 Gateway3
Server Gateway2 Client

TCP: Congestion control 118
Почему у меня тормозит habrahabr.ru, когда я качаю легальный контент
через торренты?
Почему у меня тормозит torrent по WiFi из спальни?

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
119

TCP: Congestion avoidance algorithms 120
Входные данные:
● Latency
● Loss
Если пакеты теряются и latency растёт, то возможно надо снизить
скорость передачи.

Входные данные:
● Latency
● Loss
Если пакеты теряются и latency растёт, то возможно надо снизить
скорость передачи.
А может и нет.

TCP Tahoe and Reno
TCP Vegas
TCP New Reno
TCP Hybla
TCP BIC
TCP CUBIC
Agile-SD TCP
TCP Westwood+
Compound TCP
TCP Proportional Rate Reduction
TCP BBR
FAST TCP
Generalized FAST TCP
H-TCP
Data Center TCP
High Speed TCP
HSTCP-LP
TCP-Illinois
TCP-LP
TCP SACK
Scalable TCP
TCP Veno
Westwood
XCP
YeAH-TCP
TCP-FIT

TCP: Congestion avoidance algorithms: BBR 123

TCP: To Buffer or not to Buffer 124
Зачем?
● Для пакетной обработки
● Для сглаживания нагрузки
Сколько?
● Не обрабатывать столько времени, сколько вы можете ждать.
Throughput vs Latency
Когда?
● Слишком дорого обрабатывать по одному
● Чтобы избежать блокировок

TCP: TFO 126
RTT=0!
Edge
Chrome

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
128

DNS: архитектура 129

DNS: виды записей 130
● A
● CNAME - games.ok.ru » www.ok.ru
● NS - авторитативные сервера зоны (домена)
● MX - почтовые адреса домена
@ 3600 SOA ns1.odnoklassniki.ru.
hostmaster.odnoklassniki.ru. 2016090700 10800 1800 2419200
3600
@ 3600 NS ns1.odnoklassniki.ru.
@ 3600 A 5.61.236.151
www 3600 CNAME apiok.ru

DNS: RTT 131
# host games.ok.ru
games.ok.ru is an alias for www.ok.ru.
www.ok.ru has address 5.61.23.11

DNS: Global Server Load Balancing 132

DNS: Global Server Load Balancing 133
А если клиент использует Google DNS 8.8.8.8?

DNS: EDNS 134
Псевдо-запись типа OPT, которой нет в зоне и которая существует
только в DNS пакетах участников обмена данными.
Примеры использования:
● DNSSEC: EDNS header flag “DO”
● GSLB DNS: EDNS Option “edns-client-subnet”

DNS: EDNS edns-client-subnet 135

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
136

HTTP 137
# curl -v go.com
> GET / HTTP/1.1
> Host: go.com
> User-Agent: curl/7.47.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Date: Wed, 11 Oct 2017 14:40:39 GMT
< Content-Type: text/html;charset=utf-8
< Content-Length: 1341159
{ [2484 bytes data]
<!DOCTYPE html>
<html class="no-js" version="HTML+RDFa 1.1" lang="en">

HTTP 139
Как ускорить?
● Keepalive - сокращает количество roundtrip для получения каждого
файла.
● HTTP 2 - параллельное получение файлов [и push].

HTTP 142
< HTTP/1.1 200 OK
< Server: Apache
< Date: Wed, 11 Oct 2017 15:18:56 GMT
< Content-Type: text/html;charset=UTF-8
< Transfer-Encoding: chunked
< Connection: keep-alive
< Vary: Accept-Encoding
< Set-Cookie: bci=-6985998813908368544; Domain=.ok.ru; Expires=Mon, 29-Oct-2085 18:33:03 GMT;
Path=/; HttpOnly
< Content-Security-Policy: default-src data: 'self' 'unsafe-inline' 'unsafe-eval' ok.ru *.ok.ru ...
< Content-Security-Policy-Report-Only: default-src data: blob: about: 'self' 'unsafe-inline'
'unsafe-eval' https: wss:; report-uri /csp/report?always;
< Cache-Control: no-cache
< Cache-Control: no-store
< Pragma: no-cache
< Expires: Mon, 26 Jul 1997 05:00:00 GMT
< X-XSS-Protection: 1; mode=block
< X-Content-Type-Options: nosniff
< Strict-Transport-Security: max-age=2592000;includeSubdomains
< Rendered-Blocks: HtmlPage
< X-ScT: true
< X-FRAME-OPTIONS: SAMEORIGIN

HTTP: WebSocket 143
TCP соединение, которое устанавливается с вебсервером, при этом
после установки внутри соединения могут ходить данные любого вида
в обоих направлениях - никакого оверхеда связанного с HTTP
протоколом нет.

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
144

HTTPS: Handshake 146
● Долго для клиента
● Тяжело для серверного CPU

HTTPS: Handshake: Elliptic curve certificate 148
ECDSA
● быстрее/легче
● Не все поддерживают
Nginx умеет работать
сразу с 2 сертификатами.

HTTPS: Handshake: TLS ticket 149

HTTPS: Handshake: TLS ticket 150

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
151

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
● QUIC
152

UDP 154
Туннелирование (VPN)

UDP 155
Туннелирование (VPN)
Сколько RTT надо для установки TCP соединения внутри TCP
туннеля?
Сколько RTT надо для пересылки пакета, если первый раз он пропал?

Quic 156
TLS handshake
TLS ticket
“TFO”
Congestion control
Multiplexed connections
Speculative retransmission
Compression
Fallback to TCP

TCP 158
TCP handshake = 1.5 RTT
TLS handshake = 2 RTT

Quic 159

Quic 160
Первое подключение: RTT=1
Повторное подключение: RTT=0

Quic 162
Было Стало
Что Кто Сколько Что Кто Сколько
SPDY
(deprecated)
Google 7% в 2016 HTTP/2 IETF,
Google
49% из
ТОП 10М
в Августе
2020
QUIC Google 4.2% в
Апреле
2020
HTTP/3
(HTTP
over
QUIC)
(draft)
IETF,
Google
8% из
ТОП 10М
в Августе
2020

○ Пакеты
● TCP
○ Flow control
● DNS
● HTTP
● HTTPS
● QUIC
163

dmitry.samsonov@corp.mail.ru
164
Спасибо за внимание!

Полезные ссылки
https://www.cubrid.org/blog/understanding-tcp-ip-network-stack
https://blog.packagecloud.io/eng/2016/06/22/monitoring-tuning-linux-
networking-stack-receiving-data/
https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-
networking-stack-sending-data/
https://en.wikipedia.org/wiki/Transmission_Control_Protocol
https://linux.die.net/man/7/tcp
https://linux.die.net/man/7/socket
https://prototype-kernel.readthedocs.io/en/latest/networking/index.html
http://www.brendangregg.com/Perf/linux_observability_tools.png
http://www.brendangregg.com/Perf/linux_tuning_tools.png
165
dmitry.samsonov@corp.mail.ru

20201021 Технополис: Сетевой стек

Recommended

Recommended

More Related Content

What's hot

What's hot (15)

Similar to 20201021 Технополис: Сетевой стек

Similar to 20201021 Технополис: Сетевой стек (20)

20201021 Технополис: Сетевой стек