Cloud Analytics Use Cases and Architecture, Math Marketing Conference, Russia, Nov 2018
•Download as PPTX, PDF•
1 like•261 views
Cloud Analytics Use Cases and Architecture, Math Marketing Conference, Russia, Nov 2018
Recommended
Recommended
More Related Content
Similar to Cloud Analytics Use Cases and Architecture, Math Marketing Conference, Russia, Nov 2018
Similar to Cloud Analytics Use Cases and Architecture, Math Marketing Conference, Russia, Nov 2018 (20)
More from Dmitry Anoshin
More from Dmitry Anoshin (20)
Cloud Analytics Use Cases and Architecture, Math Marketing Conference, Russia, Nov 2018
- 2. select outline from matemarketing2018 where topic_name = “Роль BI систем и DWH в маркетинге” and presenter = “Dmitry Anoshin” --------------------------------------------------------------- Outline --------------------------------------------------------------- О себе Немного про Амазон Инновации и данные в Амазон Роли в Амазон Роль Аналитики Примеры Архитектур BI/DW/Big Data Облачное решение вместе Yandex cloud Миграция в Облако Миграция в Канаду/США
- 3. Содержимое этой презентации отражает только мое мнение и видение и может не совпадать с мнением Амазон; Дисклеймер
- 4. О себе • Работаю с Business Intelligence c 2010 • Канада с 09/2015 • Тихий Океан с 05/2016 • Амазон с 05/2016
- 8. Прочие активности Tableau Cookbook 2019.X • BI Tech Talk (100+ BI команд по всему миру) • Amazon Tableau User Group (2000+ пользователей) • Конференции (Enterprise Data World 2018, 2019) • Amazon внутренние конференции • Технический советник FreshBI • Технический советник Rock Your Data
- 10. Амазон “Летающее колесо” Amazon Fly Wheel http://www.samseely.com/blog/2016/5/2/the-amazon-flywheel-part-1 В 90x Джефф Безос поделился моделью бизнес Amazon: Amazon Fly Wheel = Цены🔽 =>Клиенты🔼=>Продавцы🔼
- 11. Принципы Лидерства Leadership Principles • Одержимость клиентом • Собственность • Изобретать и упрощать • Правы, очень часто правы • Учиться и быть любопытным • Нанимать и развивать самых лучших • Требование самых высоких стандартов • Думать по-крупному • Пристрастие к действию • Бережливость • Зарабатывать доверие • Нырять глубже • Иметь основу; противоречия и обязательства • Приносить результаты https://www.amazon.jobs/en/principles
- 12. Принципы Лидерства (для меня) Leadership Principles • Одержимость клиентом • Собственность • Изобретать и упрощать • Правы, очень часто правы • Учиться и быть любопытным • Нанимать и развивать самых лучших • Требование самых высоких стандартов • Думать по-крупному • Пристрастие к действию • Бережливость • Зарабатывать доверие • Нырять глубже • Иметь основу; противоречия и обязательства • Приносить результаты https://www.amazon.jobs/en/principles
- 13. Работа в обратном направлении Working Backwards
- 14. Пресс Релиз вместе презентации Press Release, Narratives, FAQ
- 16. Всегда Первый день It is still Day One Амазон никогда не останавливается в развитии и всегда ищет пути инноваций для клиентов.
- 31. Промышленная революция 2ая Промышленная революция Цифровая революция 4ая Промышленная революция Мы здесь https://www.weforum.org/about/the-fourth-industrial-revolution-by-klaus-schwab
- 37. Amazon Web Services – скорость инноваций График: кол-во новых сервисов и фич по годам
- 38. Вселенная Данных График: Объем данных(PB) по AWS сервисам Лидеры: S3, EC2, Redshift, DynamoDB
- 39. Вселенная Данных для Аналитики График: Объем данных(PB) по AWS сервисам Лидеры: Redshift, EMR, Glue, Athena
- 41. Создание Ценности (Value) Акционеры Сотрудники Клиенты Создание Ценности ”Цель организации – создавать ценность” – The Future of Competition. https://www.amazon.com/Future-Competition-Co-Creating-Unique-Customers/dp/1578519535
- 42. Цепочка ценности BI Акционеры Сотрудники Клиенты Создание Ценности Эффективное принятие решений Правильная информация Создание ценности благодаря эффективным решениям Эффективные решения благодаря качественным данным
- 43. Маркетинговые Кейсы • Автоматизация маркетинговой отчетности • А/В тестирование • Модель Атрибуции (Каналы и фичи) с использованием ML • Рекомендации https://www.amazon.ca/gp/slredirect/picassoRedirect.html/ref=pa_sp_atf_aps_sr_pg1_1?ie=UTF8&adI d=A075856810XYXJD03KIDU&url=https%3A%2F%2Fwww.amazon.ca%2FCozmo-Anki-Robotics-Adults- Coding%2Fdp%2FB01GA1298S%2Fref%3Dsr_1_1_sspa%3Fie%3DUTF8%26qid%3D1541272818%26sr%3D8-1- spons%26keywords%3Dtoy%26psc%3D1&qualifier=1541272818&id=6434421917508657&widgetName=sp_atf
- 45. Чтобы данные были полезны, нужны… Сохранять и обрабатывать PB/EB неструктурированных данных в реальном времени Находить ценность в данных и выйти за рамки анализа исторических данных для анализа данных по мере их появления Повышать уровень безопасности данных и регулировать доступ Новые методы Аналитики Новые типы данных Дашборды Операционная Аналитика Голос Распознавание Изображения Углубленная Аналитика
- 46. Проект по Модернизации BI/DW (было) Слой храненияСлой источников Ad-hoc SQL SFTP Хранилище Данных ETL (PL/SQL) CS Inventory Sales Слой доступа
- 47. Проект по Модернизации BI/DW (спросим пользователей)
- 48. Источники Данных DynamoDB Amazon RDS External API SFTP APPs Ad-hock SQL Бизнес слой Amazon Athena Amazon EMR Amazon Redshift Amazon Redshift Spectrum Amazon Elastic Load Balance SQS SNS Amazon Chime Tableau Server AWS Virtual Private Cloud Matillion Amazon EC2 instance Event/Notification Services Amazon S3 Data Lake Tableau Web Tableau Desktop Проект по Модернизации BI/DW (стало)
- 49. Современная Архитектура Data Warehouse Business Intelligence OLTP ERP CRM LOB Devices Web Sensors Social Big Data processing, real-time, Machine Learning Data Lake Структурированные и не структурированные данные Масштабируемость (EB) Разнообразие инструментов аналитики Низкая стоимость хранения и анализа данных Классический ETL/ELT и стримминг данных Озеро данных Machine Learning
- 52. Подход к миграции (модернизации) Поднять & Перенести • Классический подход • Все и сразу • Достаточно быстро • Немного времени на обучение Разделить & Перенсти • Разделить приложение на логически функциональные части • Для каждого элемента подобрать правильную технологию • Копировать по кусочкам
- 53. --------------------------------------------------------------- Outline --------------------------------------------------------------- Облачное решение Yandex Cloud и Mail.ru Cloud Solutions
- 54. Из любопытства… Если бы Yandex Cloud Источники Yandex Object Storage Yandex Managed Databases External API SFTP APPs Ad-hock SQL Бизнес Пользовател и BI Tool Server AWS Yandex Virtual Private Cloud Yandex Compute Cloud Event/Notification Services Yandex Storage Data Lake Any BI Tool Telegram Email ETL (Free Pentaho DI) Postgres DW ML Server https://cloud.yandex.com/
- 55. Из любопытства… Если бы Mail Cloud Источники Объектное хранилище Облачные БД, Просто БД или NoSQL External API SFTP APPs Ad-hock SQL Бизнес Пользовател и BI Tool Server AWS Mail Virtual Private Cloud? Виртуальные сервера Event/Notification Services Объектное хранилище – Озеро Данных Any BI Tool Telegram Email ETL (Free Pentaho DI) Postgres DW ML Server https://mcs.mail.ru/ Hadoop Spark
- 57. «Если очень захотеть, можно в космос полететь…» • Теоретически возможно получить рабочую визу • Федеральная программа • Провинциальная программа • Университет • Выиграть green card • Приехать по тур визе и найти работу • Университет
- 58. Работа в Amazon https://www.amazon.jobs/ • Есть вакансии, которые делают Sponsorship • Behavioral Interview (Amazon Leadership Principles) • Все вакансии по работе с данными требуют SQL, программирование
- 60. Выводы • «В чем сила брат? А сила в данных.» • Технические знания по работе с данными ОБЯЗАТЕЛЬНЫ! • Не важно какой у вас инструментарий, главное правильно интерпретировать результат и добывать ценность из данных • Преимущество можно получить за счет использования инновация (новые методы по работе с данными, новые типа данных и тп.) • «Учиться, учиться и еще раз учиться» В.И. Ленин.
Editor's Notes
- The first Industrial Revolution started around 1780, and this was the beginning of the Age of Machines.
- Steam and water power was used to power engines. For the first time, we were able to produce goods using machines.
- Steam power fueled the second Industrial Revolution [which started around 1870]. Here’s the Chicago World’s Fair in 1893 – and that was the place to be if you wanted to see the latest electricity-based inventions, such as lighting systems and elevators.
- And electric power also enabled mass production. The assembly line made it possible to mass-manufacture new inventions such as the automobile and telephones. Now, up to this point, data was still kept by hand. What data integration looked like was two accountants comparing paper ledgers with each other.
- It was only during the Third Industrial Revolution – better known as the Digital Revolution – that digital data as we know it came to be. The Digital Revolution started in the 1960s, it was fueled by electricity, and it introduced computerized automation. It has brought the innovations we know and love, such as computers, smartphones, and the Internet.
- The ability to manufacture a large variety of products + the internet gave rise to Amazon. Here’s how the Amazon.com website looked like when it launched in 1995.
- And here’s the website this year. This is what customers see. The changes are not just in the user experience, everything else has changed.
- This is what is happening behind the scenes.
- Amazon не будет заменять на новую базу данных, а будет создавать новую систему
- Это все еще День 1
- О каких случаях мы говорим? цифровая революция уходит и приходит так называемая «Четвертая промышленная революция» согласно Всемирного экономического форума.
- Это можно наблюдать на примере последних продуктов Амазон Алекса – управление голосом
- Amazon GO – использует компьютерное зрение и Machine Learning, меняет как мы шопимся
- Amazon Robots возносят автоматизацию на следующий уровень
- 4ая промышленная революция связана с появление всех этих новых технологий которые двигают прогресс вперед
- И двигателем являются ДАННЫЕ Каждое из этих направлений не только создает кучу данных, но и использует эти данные в качестве обратной связи
- 2,7 s3 22
- 2,7 s3 22
- ”Цель организации – создавать ценность” - как следствие лидеры инвестируют в BI, потому что они понимают ценность информации и им необходимо отслеживать эффективность бизнеса.
- ”Цель организации – создавать ценность” - как следствие лидеры инвестируют в BI, потому что они понимают ценность информации и им необходимо отслеживать эффективность бизнеса.
- ”Цель организации – создавать ценность” - как следствие лидеры инвестируют в BI, потому что они понимают ценность информации и им необходимо отслеживать эффективность бизнеса.
- Размер и сложность данных, которые необходимо проанализировать сегодня, означает, что те же технологии и подходы, которые работали в прошлом, больше не работают. Во-первых, объем данных растет экспоненциально с машинно-генерируемыми данными из подключенных к Интернету устройств, которые растут в 10 раз быстрее, чем данные из бизнес-приложений. Это делает нецелесообразным для клиентов приобретать и устанавливать большее, более мощное оборудование каждый раз, когда достигаются ограничения по хранению и вычислительной мощности, а также ограничивает перемещение огромных объемов данных в отдельную аналитическую систему до ее анализа. Во-вторых, типы доступных данных изменяются от традиционных оперативных данных, которые структурированы как таблицы и столбцы, к данным, генерируемым новыми источниками, такими как социальные сети, мобильные приложения, веб-сайты и устройства. Клиенты больше не могут ограничивать свою аналитику реляционными данными, но теперь они должны иметь возможность хранить и анализировать данные любого типа, включая нереляционные данные без определенных отношений или схемы. В-третьих, поскольку данные генерируются в режиме реального времени, клиентам необходимо выйти за рамки анализа исторических данных для анализа данных по мере их появления.