Data-driven business: Информационная основа деятельности современной КомпанииAlexander Barakov
Обоснование концепции Data-driven business - попытка показать вектор трансформации способа ведения бизнеса вне зависимости от отрасли и найти ответы на ключевые вопросы, стоящие перед современной компанией:
Какие данные являются значимыми для бизнеса?
Какие значимые данные появятся и будут необходимы бизнесу через 5,10, 20 лет?
Какие новые виды анализа данных могут трансформировать принятие решений в вашей отрасли, повысив операционную эффективность?
Какой набор ПО оптимальным образом будет решать задачи связанные с хранением, обработкой, анализом данных и доставкой и информации пользователям?
Какие BI- BigData-решения внедрять, с какими приоритетами?
Какой набор ресурсов (внутренних/внешних) и компетенций необходимо аккумулировать для запуска и развития системы бизнес-анализа компании? (Как выбрать интегратора / консультанта? Какого набирать в штат? Как планировать и управлять BI-проектами? и т.д.)
Как необходимо трансформировать бизнес-процессы и корпоративную культуру?
и т.д.
Этот доклад я презентовал на конференции BI тренды 11 октября 2012 года в Москве. http://events.cnews.ru/events/programm/bi_instrumenty_v_rossii__poslednie_trendy.shtml
Data-driven business: Информационная основа деятельности современной КомпанииAlexander Barakov
Обоснование концепции Data-driven business - попытка показать вектор трансформации способа ведения бизнеса вне зависимости от отрасли и найти ответы на ключевые вопросы, стоящие перед современной компанией:
Какие данные являются значимыми для бизнеса?
Какие значимые данные появятся и будут необходимы бизнесу через 5,10, 20 лет?
Какие новые виды анализа данных могут трансформировать принятие решений в вашей отрасли, повысив операционную эффективность?
Какой набор ПО оптимальным образом будет решать задачи связанные с хранением, обработкой, анализом данных и доставкой и информации пользователям?
Какие BI- BigData-решения внедрять, с какими приоритетами?
Какой набор ресурсов (внутренних/внешних) и компетенций необходимо аккумулировать для запуска и развития системы бизнес-анализа компании? (Как выбрать интегратора / консультанта? Какого набирать в штат? Как планировать и управлять BI-проектами? и т.д.)
Как необходимо трансформировать бизнес-процессы и корпоративную культуру?
и т.д.
Этот доклад я презентовал на конференции BI тренды 11 октября 2012 года в Москве. http://events.cnews.ru/events/programm/bi_instrumenty_v_rossii__poslednie_trendy.shtml
сервисы персонализации на основе данныхRoman Zykov
Персонализация как сервис на основе данных
Персонализация на основе данных о пользователях играет все большую роль в аналитических CRM системах. Самым первым шагом важно понять, какой продукт или сервис на основе данных вы готовы предложить своим клентам. Далее в докладе будут рассмотрены следующие вопросы:
Достаточно ли у вас данных для персонализации продукта?
Как оценить успешность проекта по персонализации?
Как подружить аналитический и операционный CRM?
Какие основные причины провала таких проектов?
Самостоятельная разработка или outsource?
Насколько важен вопрос правильных технологий?
Где место сегментации клиентов?
В докладе будут вкратце разобраны некоторые примеры российских и зарубежных компаний.
Компания BNS Group является одним из лидеров рынка модной одежды и аксессуаров и управляет 10 мировыми Fashion-брендами, более 180 магазинами в 60 городах России, Украины и Казахстана. В связи с активным развитием компании, расширением портфеля брендов и сети магазинов, потребовалось увеличение качества и скорости работы аналитического инструментария, для чего запустили проект на основе системы QlikView.
АНАЛИТИКА ПЛЮС, вебинар 10 декабря «НОВЫЕ ТЕХНОЛОГИИ HP VERTICA + TABLEAU, КА...АНАЛИТИКА ПЛЮС
Как сделать ценными Ваши данные? Excel, My SQL, OLAP-кубы, сотни и тысячи специальных процедур, человеко-годы работ… Надоело? Количество данных растет, бизнес меняется быстрее, чем ИТ за ним поспевает? Необходимой отчетности нет… Знакомая картина? Тогда Вам СЮДА.
Сегодня новые технологии ломают рынок BI-решений. Знаете ли Вы, что можно БЕСПЛАТНО использовать такое же решение, какое используют такие крупные бизнесы как Zynga, HP, YOTA и др.? Знаете ли Вы, что проект по разработке и внедрению мощной аналитической системы сегодня занимает пару месяцев?
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
BigData Dive in Minsk / Altoros conference /
Windows Azure and BigData- autoscale, Linux, HDInsigh.
Options for developers and startups - BizSpark, msdn subscriptions, seed fund
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
Watch full webinar here: https://buff.ly/3OETC08
По данным аналитической компании Gartner, "к 2022 году 60% предприятий включат виртуализацию данных в качестве основного метода доставки данных в свою интеграционную архитектуру". Компания Gartner назвала Denodo лидером в Магическом квадранте 2020 года по инструментам интеграции данных.
В ходе этого 1,5-часового занятия вы узнаете, как виртуализация данных революционизирует бизнес и ИТ-подход к доступу, доставке, потреблению, управлению и защите данных, независимо от возраста вашей технологии, формата данных или их местонахождения. Эта зрелая технология устраняет разрыв между ИТ и бизнес-пользователями и обеспечивает значительную экономию средств и времени.
**ФОРМАТ
Онлайн-семинар продолжительностью 1 час 30 минут.
Благодаря записи вы можете выполнять упражнения в своем собственном темпе.
**ДЛЯ КОГО ЭТОТ СЕМИНАР?
ИТ-менеджеры / архитекторы
Специалисты по анализу данных / аналитики
CDO
**СОДЕРЖАНИЕ
В программе: введение в суть виртуализации данных, примеры использования, реальные примеры из практики клиентов и демонстрация возможностей платформы Denodo Platform:
Интеграция и предоставление данных быстро и легко с помощью платформы Denodo Platform 8.0
Оптимизатор запросов Denodo предоставляет данные в режиме реального времени, по запросу, даже для очень больших наборов данных
Выставлять данные в качестве "сервисов данных" для потребления различными пользователями и инструментами
Каталог данных: Открывайте и документируйте данные с помощью нашего Каталога данных
пространства для самостоятельного доступа к данным.
Виртуализация данных играет ключевую роль в управлении и обеспечении безопасности данных в вашей организации
**ПОВЕСТКА
Введение в виртуализацию данных
Примеры использования и примеры из практики клиентов
Архитектура - Управление и безопасность
Производительность
Демо
Следующие шаги: как самостоятельно протестировать и внедрить платформу
Интерактивная сессия вопросов и ответов
сервисы персонализации на основе данныхRoman Zykov
Персонализация как сервис на основе данных
Персонализация на основе данных о пользователях играет все большую роль в аналитических CRM системах. Самым первым шагом важно понять, какой продукт или сервис на основе данных вы готовы предложить своим клентам. Далее в докладе будут рассмотрены следующие вопросы:
Достаточно ли у вас данных для персонализации продукта?
Как оценить успешность проекта по персонализации?
Как подружить аналитический и операционный CRM?
Какие основные причины провала таких проектов?
Самостоятельная разработка или outsource?
Насколько важен вопрос правильных технологий?
Где место сегментации клиентов?
В докладе будут вкратце разобраны некоторые примеры российских и зарубежных компаний.
Компания BNS Group является одним из лидеров рынка модной одежды и аксессуаров и управляет 10 мировыми Fashion-брендами, более 180 магазинами в 60 городах России, Украины и Казахстана. В связи с активным развитием компании, расширением портфеля брендов и сети магазинов, потребовалось увеличение качества и скорости работы аналитического инструментария, для чего запустили проект на основе системы QlikView.
АНАЛИТИКА ПЛЮС, вебинар 10 декабря «НОВЫЕ ТЕХНОЛОГИИ HP VERTICA + TABLEAU, КА...АНАЛИТИКА ПЛЮС
Как сделать ценными Ваши данные? Excel, My SQL, OLAP-кубы, сотни и тысячи специальных процедур, человеко-годы работ… Надоело? Количество данных растет, бизнес меняется быстрее, чем ИТ за ним поспевает? Необходимой отчетности нет… Знакомая картина? Тогда Вам СЮДА.
Сегодня новые технологии ломают рынок BI-решений. Знаете ли Вы, что можно БЕСПЛАТНО использовать такое же решение, какое используют такие крупные бизнесы как Zynga, HP, YOTA и др.? Знаете ли Вы, что проект по разработке и внедрению мощной аналитической системы сегодня занимает пару месяцев?
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
BigData Dive in Minsk / Altoros conference /
Windows Azure and BigData- autoscale, Linux, HDInsigh.
Options for developers and startups - BizSpark, msdn subscriptions, seed fund
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
Watch full webinar here: https://buff.ly/3OETC08
По данным аналитической компании Gartner, "к 2022 году 60% предприятий включат виртуализацию данных в качестве основного метода доставки данных в свою интеграционную архитектуру". Компания Gartner назвала Denodo лидером в Магическом квадранте 2020 года по инструментам интеграции данных.
В ходе этого 1,5-часового занятия вы узнаете, как виртуализация данных революционизирует бизнес и ИТ-подход к доступу, доставке, потреблению, управлению и защите данных, независимо от возраста вашей технологии, формата данных или их местонахождения. Эта зрелая технология устраняет разрыв между ИТ и бизнес-пользователями и обеспечивает значительную экономию средств и времени.
**ФОРМАТ
Онлайн-семинар продолжительностью 1 час 30 минут.
Благодаря записи вы можете выполнять упражнения в своем собственном темпе.
**ДЛЯ КОГО ЭТОТ СЕМИНАР?
ИТ-менеджеры / архитекторы
Специалисты по анализу данных / аналитики
CDO
**СОДЕРЖАНИЕ
В программе: введение в суть виртуализации данных, примеры использования, реальные примеры из практики клиентов и демонстрация возможностей платформы Denodo Platform:
Интеграция и предоставление данных быстро и легко с помощью платформы Denodo Platform 8.0
Оптимизатор запросов Denodo предоставляет данные в режиме реального времени, по запросу, даже для очень больших наборов данных
Выставлять данные в качестве "сервисов данных" для потребления различными пользователями и инструментами
Каталог данных: Открывайте и документируйте данные с помощью нашего Каталога данных
пространства для самостоятельного доступа к данным.
Виртуализация данных играет ключевую роль в управлении и обеспечении безопасности данных в вашей организации
**ПОВЕСТКА
Введение в виртуализацию данных
Примеры использования и примеры из практики клиентов
Архитектура - Управление и безопасность
Производительность
Демо
Следующие шаги: как самостоятельно протестировать и внедрить платформу
Интерактивная сессия вопросов и ответов
Что такое облачные вычисления и почему о них так много говорятКРОК
Первая Российская Конференция «Облачная архитектура ИТ – бизнес-выгоды, модели, технологии».
Подробнее о мероприятии http://www.croc.ru/action/detail/2617/
Презентация Руслана Заединова, заместителя генерального директора, КРОК
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Всеволод Поляков "История одного мониторинга"Fwdays
«Мир изменился… Я чувствую это в воде… Я чувствую это в земле…»
Галадриэль
«Какой-то отсталый у неё мониторинг»
Сева Поляков
В этом докладе я хочу рассказать вам историю о современном мониторинге, на примере выбора для моего текущего проекта. Когда нужен prometheus, когда нужен SaaS и почему графит не умрёт. Также я постараюсь пройтись по всем новинкам и важным изменениям в современном мире мониторинга.
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
Watch full webinar here: https://buff.ly/3SDOwnX
По данным аналитической компании Gartner, "к 2022 году 60% предприятий включат виртуализацию данных в качестве основного метода доставки данных в свою интеграционную архитектуру". Компания Gartner назвала Denodo лидером в Магическом квадранте 2020 года по инструментам интеграции данных.
В ходе этого 1,5-часового занятия вы узнаете, как виртуализация данных революционизирует бизнес и ИТ-подход к доступу, доставке, потреблению, управлению и защите данных, независимо от возраста вашей технологии, формата данных или их местонахождения. Эта зрелая технология устраняет разрыв между ИТ и бизнес-пользователями и обеспечивает значительную экономию средств и времени.
**ФОРМАТ
Онлайн-семинар продолжительностью 1 час 30 минут. Благодаря записи вы можете выполнять упражнения в своем собственном темпе.
**ДЛЯ КОГО ЭТОТ СЕМИНАР?
ИТ
менеджеры / архитекторы
Специалисты по анализу данных / аналитики
CDO
**СОДЕРЖАНИЕ
В программе: введение в суть виртуализации данных, примеры использования, реальные примеры из практики клиентов и демонстрация возможностей платформы Denodo Platform:
Интеграция и предоставление данных быстро и легко с помощью платформы Denodo Platform 8.0
Оптимизатор запросов Denodo предоставляет данные в режиме реального времени, по запросу, даже для очень больших наборов данных
Выставлять данные в качестве "сервисов данных" для потребления различными пользователями и инструментами
Каталог данных: Открывайте и документируйте данные с помощью нашего Каталога данных - пространства для самостоятельного доступа к данным.
Виртуализация данных играет ключевую роль в управлении и обеспечении безопасности данных в вашей организации
**ПОВЕСТКА
Введение в виртуализацию данных
Примеры использования и примеры из практики клиентов
Архитектура
Управление и безопасность
Производительность
Демо
Следующие шаги: как самостоятельно протестировать и внедрить платформу
Интерактивная сессия вопросов и ответов
Построение Data Mesh на основе Виртуальных ДанныхDenodo
Watch full webinar here: https://buff.ly/48QyYTv
Упростите проектирование инфраструктуры данных вашего предприятия, чтобы оптимизировать процесс принятия решений, расширить возможности экспертов в области данных и повысить согласованность.
Присоединяйтесь к этому вебинару, чтобы узнать, как архитектура Data Mesh, поддерживаемая Виртуализацией Данных, позволяет организациям предоставлять информацию, которая:
Очищена и подготовлена
Зависит от предметной области, но потребляется организацией в целом
В режиме реального времени, по требованию и в режиме самообслуживания.
Полностью управляемая, защищенная, надежная и заслуживающая доверия
Учитывает потребности различных подразделений предприятия.
Виртуализация систем хранения данных — новая стратегия управления даннымиКРОК
Семинар КРОК 14 апреля 2016 г «Оптимизация ИТ-инфраструктуры»
Доклад «Виртуализация систем хранения данных — новая стратегия управления данными»
Игорь Бонев, технический менеджер КРОК
Подробнее http://www.croc.ru/action/webinars/61634/
DBArtisan 2016 это не просто face lifting!Andrew Sovtsov
Компания Embarcadero Tech. представляет инновационные технологии, включенные в версию 2016 решения DB PowerStudio, включающего DBArtisan, RapidSQL и др. инструменты. Эти инновации переносят процесс управления производительностью БД на новый уровень. За счет непрерывного мониторинга и интеллектуальной обработки метрик и показателей "здоровья" БД, сравнения с соответствующими показателями в прошлом, обеспечиваются наглядные динамические панели состояния и предоставляются важнейшие рекомендации для поддержки производительности на высшем уровне, наиболее оптимальные варианты SQL
Центр решений ФОРС. Презентации продуктов и технологий. Демонстрационный зал аппаратных средств. Проведение тренингов и тестирований. Проработка и оптимизация решений на стеке Oracle. Oracle Big Data Appliance
3. Немного истории
(классический BI)
1998 2000 2005 2008 2010 2011 2012 2014
SQL Server 7
OLAP Services
SQL Server 2005
SSAS, SSIS, SSRS
SQL Server 2008 R2
SSAS, SSIS, SSRS
SQL Server 2000
OLAP Services
Data Transformation Services
Reporting Services
SQL Server 2008
SSAS, SSIS, SSRS
SQL Server 2012
SSAS: Multidimensional & Tabular
SSIS, SSRS
SQL Server 2014
SSAS, SSIS, SSRS
4. • Что продано
• Где продано
• Когда продано
• Кем продано
• Кому продано
• Сколько продано
• По какой цене
Многомерный анализ данных
9. Характеристика баз данных OLAP
• Схема оптимизирована для быстрых запросов
• «Движок» (engine) оптимизирован для быстрого
числового анализа
• Интуитивная модель данных
• Многоразмерное представление данных
• Свёртка и развертка
• Сводное представление данных
20. 1. Создать проект
2. Импортировать данные, создав таблицы
3. Задать связи между таблицами
4. Расширить модель с помощью вычислимых колонок, иерархий,
мер, KPIs и перспектив
5. Скрыть таблицы, колонки и меры от клиентских приложений
6. Задать секционирование для таблиц
7. Задать роли
8. Развернуть проект на сервере SSAS
Процесс разработки
22
21. • Tabular databases управляются в SQL Server Management Studio (SSMS)
• Возможности включают:
• Восстановление из рабочей книги PowerPivot
• Управление строками соединения (connection strings)
• Добавление и управление секциями таблиц
• Добавление и управление ролями
• Обработка (Processing) баз данных, таблиц и секций таблиц
• Создание скриптов для баз данных, объектов и команд
Сопровождение готового решения
25
24. • Масштабируемость (Scalability)
• Производительность (Performance)
• Время разработки (Time to Develop)
• Обучение (Learning)
Параметры сравнения
25. • Объем данных (Amount of Data)
• Ресурсы сервера (Server Resources)
• Дисковая подсистема (Disk Space)
Масштабируемость
26. Масштабируемость
Tabular Multidimensional
Технология In-Memory (x-Velocity) Пре-агрегирует данные
Может хранить большой объем данных Может хранить очень большой объем
данных
Нет агрегаций, хранение на основе
колонок
Используются агрегации для ускорения
запросов
Сжатие данных порядка 10x Сжатие данных порядка 3x
28. Как быстро возвращается результат?
• Агрегированные данные (Aggregate Data)
• Детализированные данные (Detail Data)
• «Кэшированный» результат (Cache Results)
Производительность
29. Производительность
Tabular Multidimensional
Быстрее Пре-агрегирует данные
Не требуется настройка
производительности
Может хранить очень большой объем
данных
Лучше возвращает данные низкой
гранулированности
Использование агрегатов увеличивает
производительность запросов
Значительно быстрее Tabular когда
использует «разогретый кэш» (Warm
Cache)
30. • Дизайн измерений (Dimension Design)
• Создание вычислений (Calculation Creation)
• Ключевые показатели эффективности (Key Performance Indicators)
Время разработки
31. Время разработки
Tabular Multidimensional
Быстрая разработка Длинный цикл планирования и разработки
Можно создать на основе модели Power
Pivot
Требует модель измерений
Не требует модели измерений
Более простой интерфейс для создания
модели
33. Как быстро кто-то сможет освоить новую технологию?
• Требуются тренинги (обучение)
• Используются существующие знания
Обучение
34. Обучение
Tabular Multidimensional
Используется DAX (Data Analysis Expressions)
для запросов
Используется MDX (Multi-Dimensional
Expressions) для запросов
Легко изучить если знаете формулы Excel Сложно изучить
36. выберитеTabular, если…
• у вас короткий процесс разработки
• ваша модель данных проста
• у вас много различных источников данных
• пользователю надо делать запросы к большому количеству детальных данных
выберите Multidimensional, если…
• вы используете SQL Server 2008 R2 или более раннюю версию
• вы имеете много-терабайтный источник данных
• вы имеете сложную модель данных (Complex Data Model)
• вам нужны возможности доступные только в Multidimensional (Actions, Data Mining,
Writeback, Translations)
Итого
37. Сравнение возможностей
Multidimensional Tabular Power Pivot
Actions Yes No No
Aggregations Yes No No
Calculated Measures Yes Yes Yes
Custom Assemblies Yes No No
Custom Rollups Yes No No
Distinct Count Yes Yes (via DAX) Yes (via DAX)
Drillthrough Yes Yes Yes
Hierarchies Yes Yes Yes
KPIs Yes Yes Yes
Linked objects Yes No Yes (linked tables)
Many-to-many relationships Yes No No
Parent-child Hierarchies Yes Yes (via DAX) Yes (via DAX)
Partitions Yes Yes No
Perspectives Yes Yes Yes
Semi-additive Measures Yes Yes Yes
Translations Yes No No
User-defined Hierarchies Yes Yes Yes
Writeback Yes No No
38. Матрица принятия решения
9 8 8 3 2 4 34
26% 24% 24% 9% 6% 12% 100%
Масштабируемость Безопасность
Производитель
ность
"Гибкость"
источников
данных
Простота языка
запросов
Время
разработки
Очки
Multidimensional 80 70 80 20 40 20 63
Tabular 60 70 50 70 80 70 63
PowerPivot for SharePoint 40 20 40 70 80 80 45
PowerPivot 20 10 20 70 80 80 33
39. «Место под солнцем» для BISM
MOLAP
PowerPivot
BISM
масштабируемость*
удобство использования
2 GB
100 GB
5 TB
источник: Thomas Kejser, SQLCAT
ROLAP
50 TB
масштабируемость=
- хорошая поддержка для конкурентных запросов
- независимость от доступной памяти
- хорошая «ремонтопригодность»
40. • Microsoft SQL Server 2012 Analysis Services: The BISM Tabular Model
• SSAS Team Blog
• Books Online for SQL Server – Analysis Services
• PowerPivotPro
• PowerPivot BI Semantic Model
• http://www.sqlbi.com/books/
Ресурсы
44