• Like
CodeFest 2013. Чернышев А. — Пути миграции перелётных данных
Upcoming SlideShare
Loading in...5
×

CodeFest 2013. Чернышев А. — Пути миграции перелётных данных

  • 341 views
Uploaded on

http://2013.codefest.ru/doklad/44

http://2013.codefest.ru/doklad/44

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
341
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
1
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Чернышев  Артём,2ГИСПути  миграции  перелётных  данных
  • 2. Миграция  это  - ETL
  • 3. Миграция  это  - ETLExtract
  • 4. Миграция  это  - ETLExtract Transform
  • 5. Миграция  это  - ETLExtract Transform Load
  • 6. Откуда  я  знаю  про  миграциюData warehousing
  • 7. Откуда  я  знаю  про  миграциюBusiness Intelligence
  • 8. Откуда  я  знаю  про  миграциюBig Data Management
  • 9. Покажу  на  примере
  • 10. Самый  первый  пример
  • 11. Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера
  • 12. Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• …  но  они  в  бинарном  виде  
  • 13. Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• Нужен  отчёт  заданного  вида  в  excel• …  но  они  в  бинарном  виде  
  • 14. Самый  первый  пример• Есть  логи скачиваний  пакетов  с  сервера• Нужен  отчёт  заданного  вида  в  excel• …  но  они  в  бинарном  виде  • Каждый  первый  понедельник  месяца
  • 15. Самый  первый  пример
  • 16. Самый  первый  пример@ЧудесаСервер  доставлял  не  сразуДва горячих чая этому господину
  • 17. Самый  первый  пример@ЧудесаИзменилась  периодичность
  • 18. Самый  первый  пример@ЧудесаУвеличился  объём  данных
  • 19. Самый  первый  пример@ЧудесаВид  отчёта  постоянно  менялся
  • 20. Самый  первый  пример@ВыводыНикому  не  верь
  • 21. Умей  отличить  заказчика  от  пользователяСамый  первый  пример@Выводы
  • 22. Знай  роль  данных  в  бизнес-процессахСамый  первый  пример@Выводы
  • 23. Мигрируй  чащеСамый  первый  пример@Выводы
  • 24. Самый  первый  примерПериодичность
  • 25. Самый  первый  примерПериодичность
  • 26. Самый  первый  примерАктуальность
  • 27. Самый  первый  пример• Понавставляли timestamp’ы  • Начали  лить  в  RDBMS• Разделили  миграцию  и  представление• Миграция  по  расписаниюРабота  над  ошибками• Начали  общаться  с  пользователями
  • 28. Второй  пример
  • 29. Второй  пример• Появились  клики
  • 30. Второй  пример• Много  других  новых  метрик• Появились  клики
  • 31. Второй  пример• Много  других  новых  метрик• Появились  клики• Необходима  связь  со  справочниками
  • 32. Второй  пример• Много  других  новых  метрик• Появились  клики• Стало  больше  пользователей• Необходима  связь  со  справочниками
  • 33. Второй  пример
  • 34. Второй  пример@ЧудесаMySql не  любит,  когда  много  данных
  • 35. Второй  пример@ЧудесаДанные  стали  критичными  для  бизнеса
  • 36. Второй  пример@ЧудесаБольше  данных  – больше  ошибок
  • 37. Второй  пример@ВыводыВажные  данные  нужно  проверять
  • 38. Второй  пример@ВыводыВажные  данные  нужно  надёжно  хранить
  • 39. Второй  пример@ЧудесаУправлять  данными  в  коде
  • 40. Второй  пример@ВыводыИспользуй  верные  инструменты
  • 41. Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источник
  • 42. Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+
  • 43. Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+=Простая  логика+
  • 44. Второй  пример@ВыводыИспользуй  верные  инструментыОдин  источникОдно  назначение+=SQL - скриптПростая  логика+
  • 45. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источников
  • 46. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=
  • 47. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
  • 48. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
  • 49. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
  • 50. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=ETL Tools (тысячи  их)
  • 51. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+
  • 52. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=Real - time+
  • 53. Второй  пример@ВыводыИспользуй  верные  инструментыМного  источниковМного  назначений+=Message BrokerReal - time+
  • 54. Второй  пример@ВыводыИспользуй  верные  инструментыВо  всех  остальных  случаяхПишите  код,  пожалуйста
  • 55. Второй  примерДоступностьКогда  просятКогда  сможемVS
  • 56. Второй  примерДостоверность
  • 57. Второй  примерЦенность
  • 58. Второй  пример• Миграцию  перевели  на  SSIS• Перешли  на  MS SQL Server• Смастерили  систему  проверок• Начали  формализовывать  требованияРабота  над  ошибками
  • 59. Чужой  пример
  • 60. Чужой  пример• Жила-была  престарелая  CRM
  • 61. Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM
  • 62. Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую
  • 63. Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую• С  одинокой  базёнкой
  • 64. Чужой  пример• Много  баз  дислокации• Жила-была  престарелая  CRM• Решили  сделать  новую• С  одинокой  базёнкой• Совершить  миграцию  поручили  DBA
  • 65. Чужой  примерСтарая  CRM Новая  CRMПакет  SSIS
  • 66. Чужой  пример@ЧудесаDBA не  понимает  бизнес-логику
  • 67. Чужой  пример@ЧудесаПроблемы  выявлялись  не  сразу
  • 68. Чужой  пример@ЧудесаПроблемы  решались  долго
  • 69. Чужой  пример@ВыводыИсполнитель  должен  быть  в  контексте
  • 70. Чужой  пример@ВыводыМного  сущностей
  • 71. Чужой  пример@ВыводыМного  сущностейМного  данных+
  • 72. Чужой  пример@ВыводыМного  сущностейМного  данных+=Много  бизнес-логики+
  • 73. Чужой  пример@ВыводыМного  сущностейМного  данных+=Промежуточная  базаМного  бизнес-логики+
  • 74. Чужой  пример@ВыводыДелай  все  возможные  констрэйнты
  • 75. Чужой  пример  Целостность
  • 76. Хороший  пример
  • 77. Хороший  пример• Жила-была  старая  карта
  • 78. Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта
  • 79. Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта• Сделать  новую  карту  с  одной  базой
  • 80. Хороший  пример• Так  же  много  баз  дислокации• Жила-была  старая  карта• Сделать  новую  карту  с  одной  базой• Миграцию  для  прототипа  делал  разработчик
  • 81. Хороший  примерСтарая  карта Новая  карта
  • 82. Хороший  пример@Кусок  кода
  • 83. Хороший  пример@Всё  в  память
  • 84. Хороший  пример@Переписал
  • 85. Хороший  пример• Стали  выходить  из  прототипа
  • 86. Хороший  пример• Изменили  модель  данных  на  EAV• Стали  выходить  из  прототипа
  • 87. Хороший  пример• Изменили  модель  данных  на  EAV• Стали  выходить  из  прототипа• Нужно  было  переписать  миграцию
  • 88. Хороший  пример…  и  написать  пакет  SSIS
  • 89. Хороший  пример
  • 90. Хороший  пример@Вывод
  • 91. Итого@Требования
  • 92. Итого@Требования• Периодичность
  • 93. Итого@Требования• Актуальность• Периодичность
  • 94. Итого@Требования• Доступность• Актуальность• Периодичность
  • 95. Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность
  • 96. Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность• Ценность
  • 97. Итого@Требования• Доступность• Актуальность• Периодичность• Достоверность• Ценность• Целостность
  • 98. Конец
  • 99. Чернышев  Артём,2ГИСcai@2gis.ru@chernyshev_artВопросы?