Pamiętacie jeszcze stare programy lub aplikacje pisane przy użyciu C, Assemblera lub innych bardzo przestarzałych technologii? Ja też nie. Za to jeden z naszych klientów pamięta i przyszedł z prośbą o przeniesienie danych z jego starej aplikacji do nowej. Podczas tej prezentacji będziecie mogli zobaczyć, jak poradziliśmy sobie z problemami wynikającymi z istniejących aplikacji oraz jak stworzyliśmy oprogramowanie migrujące dane na podstawie usług dostępnych w AWS.

1. Jak migrować dane pomiędzy dwoma systemami z pomocą AWS?
Migracje danych serverless

2. Jakub Cała
Senior Node.js Developer
jakub.cala@tsh.io

3. Niewspierany system

4. Nowy system

5. Wyzwania

6. Liczba danych
Prawie 24 240 000 operacji sumarycznie

7. Wydajność systemu
API nowego systemu miało swój limit procesowania

8. Działające środowisko
Migracja na środowisko, na którym pracował klient

9. Czas migracji
Migracja mogła najdłużej zajmować niecałe 40 godzin

10. Różne rozmiary danych
Każda migracja miała inny rozmiar danych do zmigrowania

11. Różne zasady migracji
Pojedynczych migracji było wiele i różniły się, były praktycznie osobnymi
projektami w kontekście mapowania danych

12. E T L
Extract Transform Load

14. AWS SQS FIFO
Usługa kolejki wiadomości, która zapewnia przetwarzanie
wiadomości w kolejności ich wysyłania, co umożliwia
skuteczne zarządzanie przepływem danych w systemach
rozproszonych.

15. AWS Lambda
AWS Lambda może wykorzystać MessageGroup w
kolejce SQS FIFO do kontrolowania ilości
przetwarzanych wiadomości w jednostce czasu, co jest
potrzebne w rate limitingu.

16. Sleep time
x = (60000 / y) * z
y - liczba requestów / min dla 1 lambdy
z - liczba requestów do zewnętrznego
API
x = y / z
y - liczba requestów na minutę
z - liczba współbieżnych lambd

20. AWS SQS
W 2023 roku została dodana możliwość ustawiania
Maximum Concurrency dla lambdy, gdy źródłem
zdarzenia jest AWS SQS. Pozwala to na implementacje
rate limitingu przy pomocy zwykłych kolejek SQS.

21. AWS Step Functions
Narzędzie do koordynacji procesów w AWS. Posiada limit
historii zdarzeń wynoszący 25 tysięcy rekordów per jedno
wywołanie.

26. AWS Step Functions
Istnieje możliwość wykorzystania Distributed Map w celu
przetwarzania wielkiej ilości danych w tym samym czasie.
Zwykły krok typu Map pozwala na 40 współbieżnych
wywołań, kiedy Distributed Map wspiera do 10 tysięcy
wywołań jednocześnie.

29. Jeden rekord = Jedna operacja
Resource może być zmigrowany tylko raz

30. AWS DynamoDB
Baza danych NoSQL udostępniona przez AWS. Na
podstawie tej bazy został opracowany koncept Single
Table Design pozwalający na przechowywanie danych o
różnych strukturach w pojedynczej tabeli.

32. Czemu nie użyć getItem bez
Single Table Design?

33. Raporty :)

34. Liczba
zmigrowanych
rekordów

35. Liczba
zmigrowanych
rekordów
Liczba
nieobsłużonych
rekordów

36. Liczba
zmigrowanych
rekordów
Liczba
nieobsłużonych
rekordów
Lista wszystkich
błędów podczas
migracji

37. Liczba
zmigrowanych
rekordów
Liczba
nieobsłużonych
rekordów
Lista wszystkich
błędów podczas
migracji
I to wszystko z podziałem na
grupy

42. Podsumowanie

43. Opieramy migracje na
producencie i konsumencie

44. Przechowujemy aktualny stan
migracji

45. Duże zbiory danych dzielimy
na mniejsze

46. Tworzymy wynik migracji w
postaci raportu

47. Link do artykułu:
https://tsh.io/blog/data-migration-plan/