Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Greenplum: история одной миграции

339 views

Published on

IV Форум «BIG DATA 2015» http://www.croc.ru/action/detail/44150/

Презентация Егора Осипова, эксперта направления «Хранилища данных, аналитика и BigData»

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Greenplum: история одной миграции

  1. 1. Greenplum: история одной миграции Егор Осипов Эксперт направления «Хранилища данных, аналитика и BigData» Москва, 24.03.2015
  2. 2. 2 О BIGDATA
  3. 3. 3 • Стоимость • Масштабируемость • Скорость КЛЮЧЕВЫЕ ПРЕИМУЩЕСТВА
  4. 4. 4 • Весь ETL написан на SQL и PL/SQL • 10-ки тысяч строк кода • >10 ТБ данных • Разработка велась почти 10 лет О ПРОЕКТЕ Oracle → Greenplum
  5. 5. 5 Уменьшение времени расчета ХД Увеличение производительности отчетности Аудит ХД и оптимизация процесса его наполнения ЗАДАЧИ ПРОЕКТА
  6. 6. 6 ВХОД В ПРОЕКТ
  7. 7. 8 КОНТРОЛЬ СУБПОДРЯДЧИКОВ
  8. 8. 9 БЫСТРОЕ ОБУЧЕНИЕ СПЕЦИАЛИСТОВ
  9. 9. 10 ТЕХНИЧЕСКИЕ ВОПРОСЫ
  10. 10. 11 • Нестабильная работа - падение запросов и сегментов • Out of memory • Unexpected Internal error • Проблемы с обновлением прошивки • Смерть серверов КЛЮЧЕВЫЕ ТЕХНИЧЕСКИЕ ПРОБЛЕМЫ
  11. 11. 12 • Перенос данных из Oracle в Greenplum • Работа с иерархиями • Миграция циклов • Совместимость с Oracle: функции, синтаксис • Пакет совместимости • Least, greatest • Keep dense_rank • Обращение к таблицам в функциях • Коррелированные подзапросы АРХИТЕКТУРНЫЕ ЗАДАЧИ
  12. 12. 15 ПОДЫТОЖИМ
  13. 13. 16
  14. 14. 17 СПАСИБО ЗА ВНИМАНИЕ! Егор Осипов Эксперт департамента информационных технологий КРОК 111033, Москва, ул. Волочаевская, д.5, корп.1 +7 495 974 2274, +7 495 974 2277 (факс) eosipov@croc.ru www.croc.ru

×