SlideShare a Scribd company logo
1 of 11
Побудова платформи під Data
Engineering та Data Science.
Досвід та отримані уроки.
Intro
● У мене 13 років досвіду в IT, з них
останні 3 роки активно займаюсь
управлінням.
● Я пройшов шлях від системного
адміністратора до девопса, датаопса і,
нарешті, до менеджменту (це включає
в себе керівництво, делівері проектів,
управління ризиками і
відповідальність за підходи та
технології).
● Зараз разом з командою ми
розробляємо платформу для обробки
даних, яка відповідає цілям нашої
компанії.
● Звісно, іноді кінцевий результат
відрізняється від запланованного і
з'являється досвід, яким я сьогодні і
планую поділитися.
Тут повинен бути опис
який я молодець
Disclaimer
Будь ласка, ПАМ'ЯТАЙТЕ: досвід завжди є
суб'єктивним.
Уважно оцінюйте завдання, які розв'язував автор,
його стан і умови, в яких він знаходився. Вони можуть
відрізнятися від ваших.
Також я в своїй промові обмежений умовами NDA
поточних і попередніх компаній, а також можу
уникати питань на теми, які саме я розглядаю як
особисті.
Intro
- High license and maintenance cost
- Development on sources
- Bottlenecks
- Limited possibility to create high
level view
Data Products
Development
Intro
- Cost efficiency
- New opportunities for data monetisation
Data Ingestion - Data Storage & Access - Data Consuming
Sources
Data Products
x3-x5
x2
PoC
DIGITAL BUTLER
+ Concept is working
+ First product
- Onpremise
- Hiring
0 Environment adaptation to changes
First request - reporting(batch
ingestion)
MVP
+ Lake filled with 40% of all sources and all vital sources
+ Lake layers: raw, integration, product
+ IaC
+ AWS provided us with scalability we struggled onpremise
+ Re-skilled colleagues created first analysis based on lake data, sigh of
relief for enterprise solutions.
+ Cost
- Hiring
- Environment adopted to changes much slower than platform grows
- Lack of new requests
Stable version
+ On lake 450+Tb and daily growth 100-150Gb. 100% sources in lake. Total 4 layers: raw, curated,
integration, product
+ Platform 100% ready for science and engineering. Support service
+ 70 teams on boarded, 200+ users, 50+ new data products. Moved critical reports to platform
+ 2 AI products ready(communication and scoring)
+ Re-skill in platform team and in bank
- Tech level to onboard
- Trying to use lake as DB
0 Data on d-1
Results & Next steps
Results
● 3 years from classical DB to fully operated platform
● 2 AI products and ready to build more new
● Current cost reduction x5-x7 to x3-x5 expected
● x1.5 reduced product time creation
● Bank moved to best practices in code creation for regulatory
reports
Next steps
● Near real time. m-15 instead of d-1
● Easier interface to reach x2+ in product time creation reduction
● Masked layer
Contacts
Моє імʼя: Тернов Артем
Контакти для запитань:
Telegram: @ArtemTernov
Linkedin: Artem Ternov
Будьте готові приймати
помилки. Вони -
передвісники
майстерності.

More Related Content

Similar to Artem Ternov: Побудова платформи під DataEngineering та DataScience в ентерпрайзі: досвід та отримані уроки (UA)

таблиця
таблицятаблиця
таблиця
chepesyuk
 
економічні аспекти моєї професії
економічні аспекти моєї професіїекономічні аспекти моєї професії
економічні аспекти моєї професії
WarriorUA
 

Similar to Artem Ternov: Побудова платформи під DataEngineering та DataScience в ентерпрайзі: досвід та отримані уроки (UA) (20)

ЛОЛІТА ПАЛЬОХА «Процес тестування: від бізнес-вимог до релізу» Online QADay 2022
ЛОЛІТА ПАЛЬОХА «Процес тестування: від бізнес-вимог до релізу» Online QADay 2022ЛОЛІТА ПАЛЬОХА «Процес тестування: від бізнес-вимог до релізу» Online QADay 2022
ЛОЛІТА ПАЛЬОХА «Процес тестування: від бізнес-вимог до релізу» Online QADay 2022
 
Dmytro Khudenko: Можливості АІ в системах управління проєктами (UA) / AI func...
Dmytro Khudenko: Можливості АІ в системах управління проєктами (UA) / AI func...Dmytro Khudenko: Можливості АІ в системах управління проєктами (UA) / AI func...
Dmytro Khudenko: Можливості АІ в системах управління проєктами (UA) / AI func...
 
Промисловий інтернет речей
Промисловий інтернет речейПромисловий інтернет речей
Промисловий інтернет речей
 
How to Leverage your Skill Set for Product by Matic PM
How to Leverage your Skill Set for Product by Matic PMHow to Leverage your Skill Set for Product by Matic PM
How to Leverage your Skill Set for Product by Matic PM
 
Dmytro Lukyanov. Game Theory
Dmytro Lukyanov. Game TheoryDmytro Lukyanov. Game Theory
Dmytro Lukyanov. Game Theory
 
Презентація вебінар-практикум погоджуйте договора разом з нами ProNet Directum
Презентація вебінар-практикум погоджуйте договора разом з нами ProNet DirectumПрезентація вебінар-практикум погоджуйте договора разом з нами ProNet Directum
Презентація вебінар-практикум погоджуйте договора разом з нами ProNet Directum
 
Lviv PMDay 2015 S Михайло Попчук: “Синхронізація декількох Agile команд в про...
Lviv PMDay 2015 S Михайло Попчук: “Синхронізація декількох Agile команд в про...Lviv PMDay 2015 S Михайло Попчук: “Синхронізація декількох Agile команд в про...
Lviv PMDay 2015 S Михайло Попчук: “Синхронізація декількох Agile команд в про...
 
Hryhorets
HryhoretsHryhorets
Hryhorets
 
таблиця
таблицятаблиця
таблиця
 
Юрій Гаврилів “Період трансформації і участь в ньому інноваційних команд”
Юрій Гаврилів “Період трансформації і участь в ньому інноваційних команд”Юрій Гаврилів “Період трансформації і участь в ньому інноваційних команд”
Юрій Гаврилів “Період трансформації і участь в ньому інноваційних команд”
 
Решения G suite в Украине и СНГ (Basic, Business, Enterprise)
Решения G suite в Украине и СНГ (Basic, Business, Enterprise)Решения G suite в Украине и СНГ (Basic, Business, Enterprise)
Решения G suite в Украине и СНГ (Basic, Business, Enterprise)
 
економічні аспекти моєї професії
економічні аспекти моєї професіїекономічні аспекти моєї професії
економічні аспекти моєї професії
 
"What is a RAG system and how to build it",Dmytro Spodarets
"What is a RAG system and how to build it",Dmytro Spodarets"What is a RAG system and how to build it",Dmytro Spodarets
"What is a RAG system and how to build it",Dmytro Spodarets
 
презентация статьи
презентация статьипрезентация статьи
презентация статьи
 
Типові помилки при впровадженні DLP #2
Типові помилки при впровадженні DLP #2Типові помилки при впровадженні DLP #2
Типові помилки при впровадженні DLP #2
 
Agile (IF PM Group) v2
Agile (IF PM Group) v2Agile (IF PM Group) v2
Agile (IF PM Group) v2
 
Shaping future of internal audit with IT
Shaping future of internal audit with ITShaping future of internal audit with IT
Shaping future of internal audit with IT
 
програміст (1)
програміст (1)програміст (1)
програміст (1)
 
Програмне забезпечення (1).pptx
Програмне забезпечення (1).pptxПрограмне забезпечення (1).pptx
Програмне забезпечення (1).pptx
 
окн 2011
окн 2011окн 2011
окн 2011
 

More from Lviv Startup Club

More from Lviv Startup Club (20)

Artem Bykovets: 4 Вершники апокаліпсису робочих стосунків (+антидоти до них) ...
Artem Bykovets: 4 Вершники апокаліпсису робочих стосунків (+антидоти до них) ...Artem Bykovets: 4 Вершники апокаліпсису робочих стосунків (+антидоти до них) ...
Artem Bykovets: 4 Вершники апокаліпсису робочих стосунків (+антидоти до них) ...
 
Dmytro Khudenko: Challenges of implementing task managers in the corporate an...
Dmytro Khudenko: Challenges of implementing task managers in the corporate an...Dmytro Khudenko: Challenges of implementing task managers in the corporate an...
Dmytro Khudenko: Challenges of implementing task managers in the corporate an...
 
Sergii Melnichenko: Лідерство в Agile командах: ТОП-5 основних психологічних ...
Sergii Melnichenko: Лідерство в Agile командах: ТОП-5 основних психологічних ...Sergii Melnichenko: Лідерство в Agile командах: ТОП-5 основних психологічних ...
Sergii Melnichenko: Лідерство в Agile командах: ТОП-5 основних психологічних ...
 
Mariia Rashkevych: Підвищення ефективності розроблення та реалізації освітніх...
Mariia Rashkevych: Підвищення ефективності розроблення та реалізації освітніх...Mariia Rashkevych: Підвищення ефективності розроблення та реалізації освітніх...
Mariia Rashkevych: Підвищення ефективності розроблення та реалізації освітніх...
 
Mykhailo Hryhorash: What can be good in a "bad" project? (UA)
Mykhailo Hryhorash: What can be good in a "bad" project? (UA)Mykhailo Hryhorash: What can be good in a "bad" project? (UA)
Mykhailo Hryhorash: What can be good in a "bad" project? (UA)
 
Oleksii Kyselov: Що заважає ПМу зростати? Розбір практичних кейсів (UA)
Oleksii Kyselov: Що заважає ПМу зростати? Розбір практичних кейсів (UA)Oleksii Kyselov: Що заважає ПМу зростати? Розбір практичних кейсів (UA)
Oleksii Kyselov: Що заважає ПМу зростати? Розбір практичних кейсів (UA)
 
Yaroslav Osolikhin: «Неідеальний» проєктний менеджер: People Management під ч...
Yaroslav Osolikhin: «Неідеальний» проєктний менеджер: People Management під ч...Yaroslav Osolikhin: «Неідеальний» проєктний менеджер: People Management під ч...
Yaroslav Osolikhin: «Неідеальний» проєктний менеджер: People Management під ч...
 
Mariya Yeremenko: Вплив Генеративного ШІ на сучасний світ та на особисту ефек...
Mariya Yeremenko: Вплив Генеративного ШІ на сучасний світ та на особисту ефек...Mariya Yeremenko: Вплив Генеративного ШІ на сучасний світ та на особисту ефек...
Mariya Yeremenko: Вплив Генеративного ШІ на сучасний світ та на особисту ефек...
 
Petro Nikolaiev & Dmytro Kisov: ТОП-5 методів дослідження клієнтів для успіху...
Petro Nikolaiev & Dmytro Kisov: ТОП-5 методів дослідження клієнтів для успіху...Petro Nikolaiev & Dmytro Kisov: ТОП-5 методів дослідження клієнтів для успіху...
Petro Nikolaiev & Dmytro Kisov: ТОП-5 методів дослідження клієнтів для успіху...
 
Maksym Stelmakh : Державні електронні послуги та сервіси: чому бізнесу варто ...
Maksym Stelmakh : Державні електронні послуги та сервіси: чому бізнесу варто ...Maksym Stelmakh : Державні електронні послуги та сервіси: чому бізнесу варто ...
Maksym Stelmakh : Державні електронні послуги та сервіси: чому бізнесу варто ...
 
Alexander Marchenko: Проблеми росту продуктової екосистеми (UA)
Alexander Marchenko: Проблеми росту продуктової екосистеми (UA)Alexander Marchenko: Проблеми росту продуктової екосистеми (UA)
Alexander Marchenko: Проблеми росту продуктової екосистеми (UA)
 
Oleksandr Grytsenko: Save your Job або прокачай скіли до Engineering Manageme...
Oleksandr Grytsenko: Save your Job або прокачай скіли до Engineering Manageme...Oleksandr Grytsenko: Save your Job або прокачай скіли до Engineering Manageme...
Oleksandr Grytsenko: Save your Job або прокачай скіли до Engineering Manageme...
 
Yuliia Pieskova: Фідбек: не лише "як", але й "коли" і "навіщо" (UA)
Yuliia Pieskova: Фідбек: не лише "як", але й "коли" і "навіщо" (UA)Yuliia Pieskova: Фідбек: не лише "як", але й "коли" і "навіщо" (UA)
Yuliia Pieskova: Фідбек: не лише "як", але й "коли" і "навіщо" (UA)
 
Nataliya Kryvonis: Essential soft skills to lead your team (UA)
Nataliya Kryvonis: Essential soft skills to lead your team (UA)Nataliya Kryvonis: Essential soft skills to lead your team (UA)
Nataliya Kryvonis: Essential soft skills to lead your team (UA)
 
Volodymyr Salyha: Stakeholder Alchemy: Transforming Analysis into Meaningful ...
Volodymyr Salyha: Stakeholder Alchemy: Transforming Analysis into Meaningful ...Volodymyr Salyha: Stakeholder Alchemy: Transforming Analysis into Meaningful ...
Volodymyr Salyha: Stakeholder Alchemy: Transforming Analysis into Meaningful ...
 
Anna Chalyuk: 7 інструментів та принципів, які допоможуть зробити вашу команд...
Anna Chalyuk: 7 інструментів та принципів, які допоможуть зробити вашу команд...Anna Chalyuk: 7 інструментів та принципів, які допоможуть зробити вашу команд...
Anna Chalyuk: 7 інструментів та принципів, які допоможуть зробити вашу команд...
 
Oksana Smilka: Цінності, цілі та (де) мотивація (UA)
Oksana Smilka: Цінності, цілі та (де) мотивація (UA)Oksana Smilka: Цінності, цілі та (де) мотивація (UA)
Oksana Smilka: Цінності, цілі та (де) мотивація (UA)
 
Yaroslav Rozhankivskyy: Три складові і три передумови максимальної продуктивн...
Yaroslav Rozhankivskyy: Три складові і три передумови максимальної продуктивн...Yaroslav Rozhankivskyy: Три складові і три передумови максимальної продуктивн...
Yaroslav Rozhankivskyy: Три складові і три передумови максимальної продуктивн...
 
Andrii Skoromnyi: Чому не працює методика "5 Чому?" – і яка є альтернатива? (UA)
Andrii Skoromnyi: Чому не працює методика "5 Чому?" – і яка є альтернатива? (UA)Andrii Skoromnyi: Чому не працює методика "5 Чому?" – і яка є альтернатива? (UA)
Andrii Skoromnyi: Чому не працює методика "5 Чому?" – і яка є альтернатива? (UA)
 
Maryna Sokyrko & Oleksandr Chugui: Building Product Passion: Developing AI ch...
Maryna Sokyrko & Oleksandr Chugui: Building Product Passion: Developing AI ch...Maryna Sokyrko & Oleksandr Chugui: Building Product Passion: Developing AI ch...
Maryna Sokyrko & Oleksandr Chugui: Building Product Passion: Developing AI ch...
 

Artem Ternov: Побудова платформи під DataEngineering та DataScience в ентерпрайзі: досвід та отримані уроки (UA)

  • 1. Побудова платформи під Data Engineering та Data Science. Досвід та отримані уроки.
  • 2. Intro ● У мене 13 років досвіду в IT, з них останні 3 роки активно займаюсь управлінням. ● Я пройшов шлях від системного адміністратора до девопса, датаопса і, нарешті, до менеджменту (це включає в себе керівництво, делівері проектів, управління ризиками і відповідальність за підходи та технології). ● Зараз разом з командою ми розробляємо платформу для обробки даних, яка відповідає цілям нашої компанії. ● Звісно, іноді кінцевий результат відрізняється від запланованного і з'являється досвід, яким я сьогодні і планую поділитися. Тут повинен бути опис який я молодець
  • 3. Disclaimer Будь ласка, ПАМ'ЯТАЙТЕ: досвід завжди є суб'єктивним. Уважно оцінюйте завдання, які розв'язував автор, його стан і умови, в яких він знаходився. Вони можуть відрізнятися від ваших. Також я в своїй промові обмежений умовами NDA поточних і попередніх компаній, а також можу уникати питань на теми, які саме я розглядаю як особисті.
  • 4. Intro - High license and maintenance cost - Development on sources - Bottlenecks - Limited possibility to create high level view Data Products Development
  • 5. Intro - Cost efficiency - New opportunities for data monetisation Data Ingestion - Data Storage & Access - Data Consuming Sources Data Products x3-x5 x2
  • 6. PoC DIGITAL BUTLER + Concept is working + First product - Onpremise - Hiring 0 Environment adaptation to changes First request - reporting(batch ingestion)
  • 7. MVP + Lake filled with 40% of all sources and all vital sources + Lake layers: raw, integration, product + IaC + AWS provided us with scalability we struggled onpremise + Re-skilled colleagues created first analysis based on lake data, sigh of relief for enterprise solutions. + Cost - Hiring - Environment adopted to changes much slower than platform grows - Lack of new requests
  • 8. Stable version + On lake 450+Tb and daily growth 100-150Gb. 100% sources in lake. Total 4 layers: raw, curated, integration, product + Platform 100% ready for science and engineering. Support service + 70 teams on boarded, 200+ users, 50+ new data products. Moved critical reports to platform + 2 AI products ready(communication and scoring) + Re-skill in platform team and in bank - Tech level to onboard - Trying to use lake as DB 0 Data on d-1
  • 9. Results & Next steps Results ● 3 years from classical DB to fully operated platform ● 2 AI products and ready to build more new ● Current cost reduction x5-x7 to x3-x5 expected ● x1.5 reduced product time creation ● Bank moved to best practices in code creation for regulatory reports Next steps ● Near real time. m-15 instead of d-1 ● Easier interface to reach x2+ in product time creation reduction ● Masked layer
  • 10.
  • 11. Contacts Моє імʼя: Тернов Артем Контакти для запитань: Telegram: @ArtemTernov Linkedin: Artem Ternov Будьте готові приймати помилки. Вони - передвісники майстерності.