Zarządzanie farmami serwerów Linux

1. PLNOG Conference 2010
Piotr Siwczak – Administrator Systemów -
Allegro.pl
Zarządzanie farmami serwerów Linux

2. PLNOG Conference – Warszawa
2
▶ Grupa Allegro
----
▶ Farmy serwerów
▶ Strategia zarządzania farmami
▶ Farmy serwerów w Allegro
▶ Pytania
----
●
Serwisy Grupy Allegro

3. PLNOG Conference - Warszawa
3
Serwisy Grupy Allegro

4. PLNOG Conference - Warszawa
4
Infrastruktura grupy allegro
▶ 15 serwisów
▶ 2 serwerownie w różnych lokalizacjach
▶ 3 środowiska: produkcja, backup, testy
▶ Liczba serwerów PC: ~2000
▶ Kilkanaście typów maszyn: m.in. www, cache, fileserver, daemon, database
▶ Architektury procesorów: x86_64, i386, power5, itanium
▶ Systemy operacyjne: Linux, OpenSolaris, Vmware, Windows

5. PLNOG Conference - Warszawa
5
Datacenter
nfs
www
db
cache
processing

6. PLNOG Conference - Warszawa
6
Farmy serwerów - zastosowania
▶ Load balancing
▶ Failover
▶ Skalowanie aplikacji
▶ Zrównoleglanie obliczeń
▶ Hosting

7. PLNOG Conference - Warszawa
7
Load balancing & fault
tolerance
▶ Wykorzystanie load balancera sprzętowego lub softwarowego
▶ Round robin DNS
▶ URL Hashing

8. PLNOG Conference - Warszawa
8
Zrównoleglanie obliczeń
▶ Z wykorzystaniem API do obliczeń rozproszonych: MPI, PVM
▶ Systemy kolejkowe
▶ Interconnect vs. NUMA
▶ Klaster PC vs. SMP - cena
MPI
job1
job1 job2
job8 job4
job3
Job1
Job2
Job3
...
JobNscheduler
~ NUMA

9. PLNOG Conference - Warszawa
9
Farmy serwerów wirtualnych
(hosting & cloud computing)
▶ Storage
▶ Live migration
▶ Równomierne obciążenie serwerów
▶ API

10. PLNOG Conference - Warszawa
10
Wyzwania dla administratora
▶ Różnorodność systemów i producentów
▶ Każda farma ma swoje specyficzne wymagania
▶ “Pecety” = brak zarządzania
▶ Dużo maszyn = dużo informacji do przechowania
▶ Problemy skali

11. PLNOG Conference - Warszawa
11
Każdy system ulega “rozkładowi”
▶ Głównym źródłem rozkładu są zmiany
●
Autoryzowane (wymagają czasu)
●
Nieautoryzowane (tzw. “na szybko” lub “tymczasowo”)

12. PLNOG Conference - Warszawa
12
Zasady administrowania
▶ Główna rola administratora – utrzymanie porządku
▶ Prostota
▶ Metodyka wprowadzania zmian w konfiguracji (spójność)
▶ Skalowalne metody konfiguracji
▶ Utrzymanie spójnej konfiguracji w czasie
▶ Automatyczna ewidencja serwerów

13. PLNOG Conference - Warszawa
13
KISS
▶ Jak najprostsze narzędzia do zarządzania
▶ Jak najprostsze procedury konfiguracji
▶ Jak najprostsze systemy
▶ Jak najbardziej uniwersalne (niezależne od sprzętu)
▶ Szybki i prosty deployment maszyn

14. PLNOG Conference - Warszawa
14
Wprowadzanie zmian
▶ Jedno źródło zmian
▶ Kontrolowanie propagacji zmian
▶ Changelog = wersjonowanie
/etc/httpd/conf/httpd.conf
vi /etc/httpd/conf/httpd.conf
/etc/httpd/conf/httpd.conf

15. PLNOG Conference - Warszawa
15
Skalowalne sposoby zarządzania

16. PLNOG Conference - Warszawa
16
Konfiguracja spójna w czasie
wwwserver1
~# userdel apache ~# useradd apache ~# userdel apache ~# useradd apache

17. PLNOG Conference - Warszawa
INVENTORY
17
Automatyczna ewidencja

18. PLNOG Conference - Warszawa
18
Toolbox
▶ UNIX WAY – małe narzędzia połączone w większe

19. PLNOG Conference - Warszawa
19
PUPPET & NAGIOS – spójna konfiguracja
▶ http://www.reductivelabs.com
▶ http://www.nagios.org

20. PLNOG Conference - Warszawa
20

21. PLNOG Conference - Warszawa
21
Systemimager - imaging
▶ http://www.systemimager.org
●
Wykorzystywany w narzędziach komercyjnych
●
Deployment serwerów bazujący na PXE/rsync/torrent
●
Kickstart
●
Klonowanie serwerów bez przerywania ich pracy
●
Dystrybucja zmian w filesystemie poprzez rsync
●
Shell do uruchamiania komend na wielu maszynach
●
Tylko linux i windows

22. PLNOG Conference - Warszawa
22

23. PLNOG Conference - Warszawa
23
Inventory, zarządzanie adresami
▶ http://sauron.jyu.fi
●
Ostatnia wersja z 2010 wydana po ... 5 latach ;-)
●
Config dns (bind)
●
Config dhcp (isc dhcpd)
●
Informacje o lokalizacji i roli serwerów (tagi)
●
Postgres pod spodem – łatwość skryptowania
●
GUI + cmdline = łatwość używania i administrowania

24. PLNOG Conference - Warszawa
24
FreeIPA - autoryzacja
▶ http://www.freeipa.org
●
Single sign-on
●
Centralne repozytorium grup i użytkowników

25. PLNOG Conference - Warszawa
25
Wersjonowanie
▶ Rpm/Apt
●
Zarządzanie wersjami oprogramowania
●
Metapakiety z bundle'ami softwarowymi (np. paczka”meta-allegro-www” -
instaluje wszystkie pakiety potrzebne do stworzenia serwera www
obsługującego allegro)
▶ Svn:
●
Repozytorium konfiguracji daemonów – ściągane przez skrypty startowe

26. PLNOG Conference - Warszawa
26
Cykl życia serwera
▶ Sauron: adres,pxe entry,info
▶ Systemimager: deployment
●
Puppet: konfiguracja/zmiany
●
IPA: dostęp, userzy
●
Nagios: kontrola konfiguracji

27. PLNOG Conference - Warszawa
27
Dlaczego OpenSource
▶ Doświadczenia z rozwiązaniami komercyjnymi
●
Zamknięte – niemożliwe jest łączenie z innymi narzędziami
●
Koszt agentów w dobie wirtualizacji
▶ Problem zarządzania datacenter jest zbyt złożony aby być rozwiązanym przez
jedno narzędzie

28. PLNOG Conference - Warszawa
28
Q & A