• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
CodeFest 2013. Чернышев А. — Пути миграции перелётных данных
 

CodeFest 2013. Чернышев А. — Пути миграции перелётных данных

on

  • 577 views

http://2013.codefest.ru/doklad/44

http://2013.codefest.ru/doklad/44

Statistics

Views

Total Views
577
Views on SlideShare
378
Embed Views
199

Actions

Likes
0
Downloads
1
Comments
0

1 Embed 199

http://2013.codefest.ru 199

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    CodeFest 2013. Чернышев А. — Пути миграции перелётных данных CodeFest 2013. Чернышев А. — Пути миграции перелётных данных Presentation Transcript

    • Чернышев  Артём,2ГИСПути  миграции  перелётных  данных
    • Миграция  это  - ETL
    • Миграция  это  - ETLExtract
    • Миграция  это  - ETLExtract Transform
    • Миграция  это  - ETLExtract Transform Load
    • Откуда  я  знаю  про  миграциюData warehousing
    • Откуда  я  знаю  про  миграциюBusiness Intelligence
    • Откуда  я  знаю  про  миграциюBig Data Management
    • Покажу  на  примере
    • Самый  первый  пример
    • Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера
    • Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• …  но  они  в  бинарном  виде  
    • Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• Нужен  отчёт  заданного  вида  в  excel• …  но  они  в  бинарном  виде  
    • Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• Нужен  отчёт  заданного  вида  в  excel• …  но  они  в  бинарном  виде  • Каждый  первый  понедельник  месяца
    • Самый  первый  пример
    • Самый  первый  пример@ЧудесаСервер  доставлял  не  сразуДва горячих чая этому господину
    • Самый  первый  пример@ЧудесаИзменилась  периодичность
    • Самый  первый  пример@ЧудесаУвеличился  объём  данных
    • Самый  первый  пример@ЧудесаВид  отчёта  постоянно  менялся
    • Самый  первый  пример@ВыводыНикому  не  верь
    • Умей  отличить  заказчика  от  пользователяСамый  первый  пример@Выводы
    • Знай  роль  данных  в  бизнес-процессахСамый  первый  пример@Выводы
    • Мигрируй  чащеСамый  первый  пример@Выводы
    • Самый  первый  примерПериодичность
    • Самый  первый  примерПериодичность
    • Самый  первый  примерАктуальность
    • Самый  первый  пример• Понавставляли timestamp’ы  • Начали  лить  в  RDBMS• Разделили  миграцию  и  представление• Миграция  по  расписаниюРабота  над  ошибками• Начали  общаться  с  пользователями
    • Второй  пример
    • Второй  пример• Появились  клики
    • Второй  пример• Много  других  новых  метрик• Появились  клики
    • Второй  пример• Много  других  новых  метрик• Появились  клики• Необходима  связь  со  справочниками
    • Второй  пример• Много  других  новых  метрик• Появились  клики• Стало  больше  пользователей• Необходима  связь  со  справочниками
    • Второй  пример
    • Второй  пример@ЧудесаMySql не  любит,  когда  много  данных
    • Второй  пример@ЧудесаДанные  стали  критичными  для  бизнеса
    • Второй  пример@ЧудесаБольше  данных  – больше  ошибок
    • Второй  пример@ВыводыВажные  данные  нужно  проверять
    • Второй  пример@ВыводыВажные  данные  нужно  надёжно  хранить
    • Второй  пример@ЧудесаУправлять  данными  в  коде
    • Второй  пример@ВыводыИспользуй  верные  инструменты
    • Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источник
    • Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+
    • Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+=Простая  логика+
    • Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+=SQL - скриптПростая  логика+
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источников
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=Real - time+
    • Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=Message BrokerReal - time+
    • Второй  пример@ВыводыИспользуй  верные  инструментыВо  всех  остальных  случаяхПишите  код,  пожалуйста
    • Второй  примерДоступностьКогда  просятКогда  сможемVS
    • Второй  примерДостоверность
    • Второй  примерЦенность
    • Второй  пример• Миграцию  перевели  на  SSIS• Перешли  на  MS SQL Server• Смастерили  систему  проверок• Начали  формализовывать  требованияРабота  над  ошибками
    • Чужой  пример
    • Чужой  пример• Жила-была  престарелая  CRM
    • Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM
    • Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую
    • Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую• С  одинокой  базёнкой
    • Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую• С  одинокой  базёнкой• Совершить  миграцию  поручили  DBA
    • Чужой  примерСтарая  CRM Новая  CRMПакет  SSIS
    • Чужой  пример@ЧудесаDBA не  понимает  бизнес-логику
    • Чужой  пример@ЧудесаПроблемы  выявлялись  не  сразу
    • Чужой  пример@ЧудесаПроблемы  решались  долго
    • Чужой  пример@ВыводыИсполнитель  должен  быть  в  контексте
    • Чужой  пример@ВыводыМного  сущностей
    • Чужой  пример@ВыводыМного  сущностейМного  данных+
    • Чужой  пример@ВыводыМного  сущностейМного  данных+=Много  бизнес-логики+
    • Чужой  пример@ВыводыМного  сущностейМного  данных+=Промежуточная  базаМного  бизнес-логики+
    • Чужой  пример@ВыводыДелай  все  возможные  констрэйнты
    • Чужой  пример  Целостность
    • Хороший  пример
    • Хороший  пример• Жила-была  старая  карта
    • Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта
    • Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта• Сделать  новую  карту  с  одной  базой
    • Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта• Сделать  новую  карту  с  одной  базой• Миграцию  для  прототипа  делал  разработчик
    • Хороший  примерСтарая  карта Новая  карта
    • Хороший  пример@Кусок  кода
    • Хороший  пример@Всё  в  память
    • Хороший  пример@Переписал
    • Хороший  пример• Стали  выходить  из  прототипа
    • Хороший  пример• Изменили  модель  данных  на  EAV• Стали  выходить  из  прототипа
    • Хороший  пример• Изменили  модель  данных  на  EAV• Стали  выходить  из  прототипа• Нужно  было  переписать  миграцию
    • Хороший  пример…  и  написать  пакет  SSIS
    • Хороший  пример
    • Хороший  пример@Вывод
    • Итого@Требования
    • Итого@Требования• Периодичность
    • Итого@Требования• Актуальность• Периодичность
    • Итого@Требования• Доступность• Актуальность• Периодичность
    • Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность
    • Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность• Ценность
    • Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность• Ценность• Целостность
    • Конец
    • Чернышев  Артём,2ГИСcai@2gis.ru@chernyshev_artВопросы?