IV Форум «BIG DATA 2015» http://www.croc.ru/action/detail/44150/ Презентация Егора Осипова, эксперта направления «Хранилища данных, аналитика и BigData»

1. Greenplum: история одной миграции
Егор Осипов
Эксперт направления «Хранилища данных, аналитика и BigData»
Москва, 24.03.2015

2. 2
О BIGDATA

3. 3
• Стоимость
• Масштабируемость
• Скорость
КЛЮЧЕВЫЕ ПРЕИМУЩЕСТВА

4. 4
• Весь ETL написан на
SQL и PL/SQL
• 10-ки тысяч строк кода
• >10 ТБ данных
• Разработка велась почти
10 лет
О ПРОЕКТЕ
Oracle → Greenplum

5. 5
Уменьшение времени расчета ХД
Увеличение производительности
отчетности
Аудит ХД и оптимизация процесса его
наполнения
ЗАДАЧИ ПРОЕКТА

6. 6
ВХОД В ПРОЕКТ

7. 8
КОНТРОЛЬ СУБПОДРЯДЧИКОВ

8. 9
БЫСТРОЕ ОБУЧЕНИЕ СПЕЦИАЛИСТОВ

9. 10
ТЕХНИЧЕСКИЕ ВОПРОСЫ

10. 11
• Нестабильная работа - падение запросов и сегментов
• Out of memory
• Unexpected Internal error
• Проблемы с обновлением прошивки
• Смерть серверов
КЛЮЧЕВЫЕ ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ

11. 12
• Перенос данных из Oracle в Greenplum
• Работа с иерархиями
• Миграция циклов
• Совместимость с Oracle: функции, синтаксис
• Пакет совместимости
• Least, greatest
• Keep dense_rank
• Обращение к таблицам в функциях
• Коррелированные подзапросы
АРХИТЕКТУРНЫЕ ЗАДАЧИ

12. 15
ПОДЫТОЖИМ

13. 16

14. 17
СПАСИБО ЗА ВНИМАНИЕ!
Егор Осипов
Эксперт департамента информационных технологий КРОК
111033, Москва, ул. Волочаевская, д.5, корп.1
+7 495 974 2274, +7 495 974 2277 (факс)
eosipov@croc.ru
www.croc.ru