Co by było gdyby serwery DNS były tylko w wersji IPv6… zupełnie przypadkiem przetestowaliśmy to dla serwisu allegro.pl. Opowiem jak to się objawiło, czy i na ile serwis był dostępny dla klientów oraz jakie wnioski wyciągnęliśmy z tej lekcji. W drugiej części opowiemy o zmianie z http://allegro.pl na https://allegro.pl widzianej z perspektywy admina. Dlaczego to nie było takie łatwe jakby się mogło wydawać. Dowiecie się o wyzwaniach które napotkaliśmy na drodze do pełnego szyfrowania i niekoniecznie technicznych kwestiach na które szyfrowanie miało ogromny wpływ. Dlaczego zmieniając coś w TLS musieliśmy wykonać setki telefonów… Przekażemy także kilka wskazówek jak mieć TLS na A+.

1. DNSv6 i SSL - historie z życia Allegro.pl
PLNOG22
Tomasz Jarlaczyk, Tomasz Ludwiczak 12/03/2019

2. Agenda:
1
DNSv6
6.11.2018
2
Co się dzieje?
3
Postmortem
i wnioski
4
SSL
Mixed Content
everywhere
5
Testy
wydajności
9
Q&A
8
HSTS
7
OCSP Stapling
6
TLSv1.0 off
:)
The End

3. DNSv6
6.11.2018

4. Przestają dochodzić maile...

7. https://downdetector.pl/status/allegro/aktualnosci/229362-awari
a-w-allegro

8. https://www.facebook.com/allegro/posts/10155992150213108

9. https://www.facebook.com/allegro/posts/10155992150213108

11. At the moment we have configure glue record to IPv4 adresses.
Please, add IPv6 adresses:
dns1.allegro.pl - 2a02:dcc:20::5
dns2.allegro.pl - 2a02:dc8:20::5
dns3.allegro.pl - 2a01:1100:c::5
dns4.allegro.pl - 2a02:c10:2181::5
Zmiana w glue record.

12. DOMAIN NAME: allegro.pl
registrant type: organization
nameservers: dns1.allegro.pl. [2a02:dcc:20::5]
dns2.allegro.pl. [2a02:dc8:20::5]
dns3.allegro.pl. [2a01:1100:c::5]
dns4.allegro.pl. [2a02:c10:2181::5]
created: 1999.10.27 13:00:00
last modified: 2018.10.17 07:19:23
renewal date: 2019.10.26 15:00:00
Znajdź różnicę :)
DOMAIN NAME: allegro.pl
registrant type: organization
nameservers: dns1.allegro.pl. [2a02:dcc:20::5][91.194.188.132]
dns2.allegro.pl. [91.207.14.244][2a02:dc8:20::5]
dns3.allegro.pl. [2a01:1100:c::5][80.50.230.43]
dns4.allegro.pl. [2a02:c10:2181::5][213.180.138.53]
created: 1999.10.27 13:00:00
last modified: 2018.10.17 07:19:23
renewal date: 2019.10.26 15:00:00

13. Zasięg incydentu.

14. • Bądź precyzyjny
• Zawsze sprawdź change log
• Zadbaj by dyżurny miał uprawnienia
• Monitoring
Wnioski

15. Ale to jeszcze nie koniec...

16. Witam,
Od kilku dni klienci korzystający z jednego z naszych sewerów dns mają problem z otwieraniem stron allegro i ceneo ( brak zdjęć), nie występuje to cały czas. Na naszym serwerze
DNS
O adresie A.B.C.D mam logi:
Nov 19 09:21:40 dns2 named[1564]: error (network unreachable) resolving 'dns3.allegro.pl/AAAA/IN': 2a02:c10:2181::5#53
Nov 19 09:21:40 dns2 named[1564]: error (network unreachable) resolving 'dns1.allegro.pl/AAAA/IN': 2a02:c10:2181::5#53
Nov 19 09:26:41 dns2 named[1564]: error (connection refused) resolving 'dns1.allegro.pl/A/IN': 213.180.138.53#53
Nov 19 09:26:41 dns2 named[1564]: error (connection refused) resolving 'dns3.allegro.pl/A/IN': 213.180.138.53#53
Nov 19 09:26:41 dns2 named[1564]: error (connection refused) resolving 'dns2.allegro.pl/AAAA/IN': 213.180.138.53#53
Nov 19 09:26:41 dns2 named[1564]: error (connection refused) resolving 'dns1.allegro.pl/AAAA/IN': 213.180.138.53#53
Nov 19 09:26:41 dns2 named[1564]: error (network unreachable) resolving 'dns1.allegro.pl/A/IN': 2a02:c10:2181::5#53
Nov 19 09:26:41 dns2 named[1564]: error (connection refused) resolving 'dns3.allegro.pl/AAAA/IN': 213.180.138.53#53
Nov 19 09:26:41 dns2 named[1564]: error (network unreachable) resolving 'dns1.allegro.pl/AAAA/IN': 2a02:c10:2181::5#53
Nov 19 09:28:44 dns2 named[1564]: error (connection refused) resolving 't.allegro.pl/AAAA/IN': 213.180.138.53#53
Nov 19 09:29:23 dns2 named[1564]: error (network unreachable) resolving 'ms.allegro.pl/A/IN': 2a02:dcc:20::5#53
Nov 19 09:29:23 dns2 named[1564]: error (network unreachable) resolving 'ms.allegro.pl/A/IN': 2a02:dc8:20::5#53
Nov 19 09:29:23 dns2 named[1564]: error (network unreachable) resolving 'ms.allegro.pl/A/IN': 2a01:1100:c::5#53
Nov 19 09:29:23 dns2 named[1564]: error (network unreachable) resolving 'ms.allegro.pl/A/IN': 2a02:c10:2181::5#53
Martwi mnie to „connection refuse”, na naszym primary serwerze dns tego nie ma.
Dwa tygodnie później...

17. Niestety na obu naszych serwerach A.B.C.D oraz E.F.G.H występują problemy z rozwiązywaniem ceneo.pl ( oraz allegro), problemy pojawiają się i znikają, w tej
chwili:
dig @A.B.C.D. ceneo.pl
; <<>> DiG 9.8.1-P1 <<>> @A.B.C.D ceneo.pl
; (1 server found)
;; global options: +cmd
;; Got answer:
;; >>HEADER<< opcode: QUERY, status: SERVFAIL, id: 35686
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 0, ADDITIONAL: 0
;; QUESTION SECTION:
;ceneo.pl. IN A
;; Query time: 1 msec
;; SERVER: A.B.C.D#53(A.B.C.D)
;; WHEN: Mon Nov 19 15:44:31 2018
;; MSG SIZE rcvd: 26
Problem dotyczy tylko domen obsługiwanych przez allegro, czy jest konieczność uruchomienia serwera dns działającego również w wersji IPv6 ?
Dwa tygodnie później...

18. Czy Allegro działa po IPv6?

19. ralph-demo.allegro.tech dostępny po ipv6 od 2016 :-)

20. Migracja na https
2015..2018

21. 21
http://allegro.pl
https://ssl.allegro.pl
https://allegro.pl
2015 2018

22. 22

23. 23

24. 24
Content-Security-Policy-Report-Only: report-uri https://example.com/cspEndpoint
Content-Security-Policy: block-all-mixed-content, report-uri https://example.com/cspEndpoint

25. 25
Przykładowa strona oferty z 2015

26. 26
To ile serwerów kupić pod te dodatkowe obrazki?

27. 27
To ile serwerów kupić pod te dodatkowe obrazki?
curl -I https://example-img.com/skoda-fabia-niebita | grep content-length
content-length: 4275
RFC2616
The Content-Length entity-header field indicates the size of the entity-body,
in decimal number of OCTETs, sent to the recipient or, in the case of the HEAD
method, the size of the entity-body that would have been sent had the request
been a GET.

28. 28
• LOAD BALANCING
• HEALTH MONITORING
• SSL OFFLOAD
• DDOS PROTECTION
• ...
APPLICATION DELIVERY
CONTROLLER
(ADC)?

29. 29
Cavium Nitrox III CNN3560-NFBE-G

30. 30
Cavium Nitrox III CNN3560-NFBE-G

31. 31
• Wsparcie jedynie dla Fedora 12,
• OpenSSL <= 1.0.1h,
• Kryptografia symetryczna porównywalna z tym co robi CPU z AES-NI,
• Bardzo słaba wydajność na szyfrach opartych na ECC (ECDSA, ECDH),
• Blokujące API Cavium, W momencie gdy wszystkie procesy jednocześnie oczekiwały na
odpowiedź od karty SSL off-loader przestawał przetwarzać ruch,
Sprzętowa akceleracja SSL - wyniki testów 2016

32. 32

33. 33
Testy OpenSSL + CPU + AES-NI
Kryptografia oparta o krzywe eliptyczne (ECC)

34. 34
Szyfry symetryczne/bulk encryption testuje się bardzo łatwo:
openssl speed -elapsed -evp aes-128-cbc
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128-cbc 650181.92k 697169.01k 712797.01k 721101.48k 719350.44k
openssl speed -elapsed -evp aes-128-gcm
type 16 bytes 64 bytes 256 bytes 1024 bytes 8192 bytes
aes-128-gcm 402704.05k 1039778.41k 2266905.94k 3353313.28k 4122512.04k

35. 35
Key Exchange | Authentication | Cipher[-Cipher Mode*] | MAC

36. 36
Kompatybilność
wsteczna
Testy - Q12016

37. 37
# Encryption RSA / SHA2
openssl genrsa -des3 -passout pass:***** -out rsa_ecc-or-rsa.all.pl.key 2048
openssl req -new -sha256 -passin pass:***** -key rsa_ecc-or-rsa.all.pl.key -out rsa_ecc-or-rsa.all.pl.csr
# Encryption ECC / SHA2
openssl ecparam -out tmp_ecc_ecc-or-rsa.all.pl.key -name prime256v1 -genkey
openssl ec -aes128 -in tmp_ecc_ecc-or-rsa.all.pl.key -out ecc_ecc-or-rsa.all.pl.key -passout pass:*****
rm tmp_ecc_ecc-or-rsa.all.pl.key
openssl req -new -sha256 -passin pass:***** -key ecc_ecc-or-rsa.all.pl.key -nodes -out ecc_ecc-or-rsa.all.pl.csr
Początek 2016

38. 38
TLSv1.0 i 3DES no more
30/06/2018

39. 39
• WebAPI • Mobile Apps • https://allegro.pl
Styczeń 2018

40. 40
when HTTP_REQUEST {
HTTP::header remove "X-SSL-Protocol"
HTTP::header remove "X-SSL-Cipher"
HTTP::header insert "X-SSL-Protocol" [SSL::cipher version]
HTTP::header insert "X-SSL-Cipher" [SSL::cipher name]
if {[HTTP::header X-SSL-Cipher] contains "DES" or [HTTP::header X-SSL-Protocol] equals "TLSv1"} then {
HTTP::header remove "X-OLD-CRYPTO"
HTTP::header insert "X-OLD-CRYPTO" "1"
}
}

42. 2018-04-13 - Nikt nie odbiera
2018-04-18 - Nikt nie odbiera
2018-04-20 - Nikt nie odbiera
2018-04-10 Potraktował mail jako spam
i zapomniał o nim :-). Ale że jak
dzwonię, to chyba nie spam :-).
Przekaże programiście jeśli będą mieli
jakieś pytania napiszą mailowo. Bardzo
podziękował za telefon bo jak stwierdził
zaliczyli by mega wtopę :-)
2018-04-13 Numer na infolinię Pani
przekażę koledze co zajmuje się takimi
sprawami u nich w firmie jak będzie mieć
pytania da znać.
2018-04-13 Oddzwonił szef miał jeszcze
parę pytań, bardzo się ucieszył, że tak
dbamy o klientów :-)
2018-04-18 Nikt nie odbiera
2018-04-20 Tak dostali maila
wiedzą dziękują za info
2018-04-10 Wiedzą
pamiętają,
właśnie nad tym pracują.
Dziękują za pamięć :-)
2018-04-13 Jest mail pamiętają w
razie pytań będą dzwonić/pisać
2018-04-13 - Napisali maila z
pytaniami
2018-04-18 Nie wie czy ktoś otworzył
nawet tego maila, prosiła o ponowne
jego przesłanie, tym razem na
skrzynkę swoją własną służbową.
Zajmą się tematem.

44. 44
• WebAPI • Mobile Apps • https://allegro.pl
Udział TLSv1.0 lub 3DES tuż przed wyłączeniem

45. 45
OCSP Stapling
https://www.webpagetest.org/

46. OCSP Stapling

47. 47
Strict-Transport-Security: "max-age=15552000"; includeSubDomains; preload
HSTS - RFC 6797

48. 48

49. 49

50. 50

51. 51
Pytania?
https://allegro.tech
https://www.facebook.com/allegro.tech