Презентация подготовлена по материалам выступления Тимура Вяля на витебском Весеннем MiniQ (https://vk.com/miniq10), который был проведен 29 марта 2018: https://vk.com/miniq10; https://events.epam.com/events/miniq-vitebsk-10. Amazon Web Services (AWS) представляет собой безопасную платформу облачных сервисов,помогающую в масштабировании и развитии бизнеса. Одним из таких сервисов является сервис баз данных NoSQL DynamoDB, о котором и пойдет речь в докладе. Также мы поговорим о его отличиях от известной широкой публике MongoDB и о нашем опыте перехода с MongoDB на DynamoDB, о проблемах с которыми мы столкнулись и путях их решения.

1. 1
Переход на DynamoDB.
Есть ли жизнь после
MongoDB?
Вяль Тимур
Март 29, 2018

2. 2
println(“Hello World!”)
Hello World!

3. 3
Amazon Web Services DynamoDB

4. 4
План
Что такое DynamoDB?1
Различия между DynamoDB и MongoDB2
Ограничения DynamoDB3
Наш опыт перехода с MongoDB на DynamoDB4
Проблемы с которыми мы столкнулись5

5. 5
Dynamo vs Mongo
Key-Value
Document

6. 6
Ценовая политика
Условно
Запись
Пропускная способность
Чтение (по 25 ед.)
+ +
2,5 млн.
запросов

7. 7
Ограничения в DynamoDB
DynamoDB имеет 2 типа индексов (Локальный и Глобальный)1
Количество индексов на таблицу не более 5 каждого типа2
Нету уникальных индексов4
Размер записи в таблице ограничен 400KB5
Ограничения на редактирование таблицы6
Максимальный размер индекса - 2 поля3

8. 8
Нестыковка количества полей в индексах
{
"_id"
"pubId"
"pubDocId"
"key"
"value"
}
Mongo
Compound index
{
"docId"
"publisherMetadata"
"key"
"value"
}
Dynamo
pubId_pubDocId
Domain Class
Getter and Setter Global secondary index

9. 9
Нестыковка количества полей в индексах
{
"_id"
"planId"
"beginDate"
"endDate"
"value"
}
Mongo
Compound index
{
"planId"
"period "
"beginDate"
"endDate"
"value"
}
Dynamo
beginDate_endDate
Domain Class
Annotation @DynamoDBDelimited
Composite PK

10. 10
Сериализация/десериализация через getters/setters
Student
• Getter
• Setter
• …
• First Name
• Last Name
• …
• Other info
{…;}

11. 11
Сериализация/десериализация полей сложных типов
Map<SomeEnum, Map<String, String>>
@DynamoDBConvertedJson@DynamoDBConverted(converter = Converter.class)
Converter
• convert
• unconvert
DynamoDBTypeConverter

12. 12
Инструменты для миграции данных

13. 13
Инструменты для миграции данных

14. 14
DynamoDB + Data Pipeline + S3
Имена таблиц не изменяются!
~35-40 GB = 2-2.5
Шаг 1. Экспорт на S3
Шаг 2. Импорт с S3 в новую таблицу
~1.5 сут.
Dynamo Table S3 Bucket
Dynamo TableS3 Bucket

15. 15
• Хорошая интеграция с AWS сервисами
• Данные хранятся в облаке
• Масштабируемость и быстродействие
• Лёгкий старт
• Имеет локальную бесплатную версию
• Слабый инструмент получения данных
• Ограничения на редактирование таблиц
Выводы

16. 16
Вопросы?

17. 17
Спасибо за внимание!