Практика миграции реляционных баз данных в экосистему HadoopYury Petrov
Слайды моего доклада: "Практика миграции реляционных баз данных в экосистему Hadoop"
В докладе я доказываю, что возможен полный отказ от реляционных баз данных в пользу экосистемы Hadoop. В мире (к сожалению не в России) эта тема уже перекраивает рынок, уже наносится удар по традиционным базам данных.
Скоро ожидаются скринкасты.
Если вы начинаете проект миграции - задавайте мне вопросы - я с удовольствием на них отвечу.
Приглашайте меня в качестве консультанта и архитектора - я помогу собрать команду, обосновать инвестиции и запустить проект.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
Опыт разработки масштабируемого решения по хранению журналов в HadoopCUSTIS
Выступление Дмитрия Морозова, нашего ведущего специалиста по проектированию IT-инфраструктурных решений, на техническом семинаре «Hadoop на практике. Новые инструменты и проекты» (12 ноября 2014 года, Москва).
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org
Основы OLAP. Вебинар Workaround в SoftengiSoftengi
16 декабря 2014 года сообщество Workaround в Softengi провело первый вебинар "Основы OLAP", докладчиком которого был Юрий Марков, архитектор решений с 15-летним опытом в ИТ.
О чем:
Данные != Информация
Хранилища информации как источник информации для принятия решений
Архитектура хранилищ данных
Реализация OLAP на примере Microsoft SQL Server
Для кого: разработчики баз данных, аналитики, IT-специалисты.
Организатор: семинары Workaround в Softengi. Стартовали в феврале 2014 года как закрытые Архитектурные семинары для сотрудников (https://www.youtube.com/user/softengi ). В октябре 2014 года стали открытыми семинарами Workaround (он же «костыль» или обходной прием) для разработчиков и архитекторов ПО.
Практика миграции реляционных баз данных в экосистему HadoopYury Petrov
Слайды моего доклада: "Практика миграции реляционных баз данных в экосистему Hadoop"
В докладе я доказываю, что возможен полный отказ от реляционных баз данных в пользу экосистемы Hadoop. В мире (к сожалению не в России) эта тема уже перекраивает рынок, уже наносится удар по традиционным базам данных.
Скоро ожидаются скринкасты.
Если вы начинаете проект миграции - задавайте мне вопросы - я с удовольствием на них отвечу.
Приглашайте меня в качестве консультанта и архитектора - я помогу собрать команду, обосновать инвестиции и запустить проект.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
Опыт разработки масштабируемого решения по хранению журналов в HadoopCUSTIS
Выступление Дмитрия Морозова, нашего ведущего специалиста по проектированию IT-инфраструктурных решений, на техническом семинаре «Hadoop на практике. Новые инструменты и проекты» (12 ноября 2014 года, Москва).
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org
Основы OLAP. Вебинар Workaround в SoftengiSoftengi
16 декабря 2014 года сообщество Workaround в Softengi провело первый вебинар "Основы OLAP", докладчиком которого был Юрий Марков, архитектор решений с 15-летним опытом в ИТ.
О чем:
Данные != Информация
Хранилища информации как источник информации для принятия решений
Архитектура хранилищ данных
Реализация OLAP на примере Microsoft SQL Server
Для кого: разработчики баз данных, аналитики, IT-специалисты.
Организатор: семинары Workaround в Softengi. Стартовали в феврале 2014 года как закрытые Архитектурные семинары для сотрудников (https://www.youtube.com/user/softengi ). В октябре 2014 года стали открытыми семинарами Workaround (он же «костыль» или обходной прием) для разработчиков и архитекторов ПО.
This presentation was created by me for the course of Information technology in 2012. It contains detailed description of OLAP technology and basic description of OLTP technology.
Александр Мигаловский — ГНИВЦ ФНС России — ICBDA 2015rusbase
Выступление Александра Мигаловского (ГНИВЦ ФНС России) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Линейка продуктов PETER-SERVICE TREC предназначена для осуществления мониторинга и анализа трафика, а также управления им в телекоммуникационных и IP-сетях передачи данных.
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимиза...IT-Portfolio
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимизация архитектуры для работы 24/7", Олег Краснов (системный архитектор SEMrush)
Аннотация
Со времени предыдущего доклада прошло полгода и мы сделали огромный рывок вперёд. В 2008 году система хранения SEMrush была построена на базе сочетания SQL с файловым хранилищем и позволяла выдерживать нагрузку примерно в 3 миллиона запросов в день. К моменту прошлого выступления нагрузка возросла на порядок, а сейчас на подобной нагрузке было успешно введено обновление данных онлайн без потери производительности.
В докладе, через призму краткой ретроспективы, будут освещены изменения технологий обработки данных проекта SEMrush. В ходе выступления будет проведен обзор изменившихся требований к системе, как в плане надёжности, так и скорости реакции на запросы пользователей. Выступление будет дополнено реальными проблемами, программного обеспечения и оборудования, а также способами их решения. Кроме этого будет произведён обзор планов на ближайшее будущее.
О компании
Компания SEMrush является разработчиком программного обеспечения для анализа конкурентов и определения ключевых слов для SEO оптимизации, входит в тройку мировых лидеров разработчиков аналитических инструментов для изучения трафика. Существует на рынке с 2007 года. Сервис SEMrush предоставляет пользователям информацию, необходимую для анализа конкурентной среды и оптимизации поисковой выдачи. SEMrush незаменим для углубленного анализа ключевых слов, позиций конкурентов, AdWords кампаний.
Вы узнаете о том, как создать собственную DMP c помощью платформы 1DMP, проблемах использования офлайн-данных в онлайн-каналах, а также о бирже данных как необходимом элементе экосистемы рынка данных.
Выступление Владислава Флакса (OWOX) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Бизнес вашей компании расширяется или столкнулся с рисками рейдерского захвата? Стал актуальным вопрос сохранности данных? У вас интернет-проект, требующий безостановочной обработки миллионов запросов пользователей, или вы просто заинтересованы в непрерывности бизнеса? Чтобы никакой сбой или потеря контакта с ИТ-инфраструктурой не нарушали работу? Чтобы данные было легко хранить в надёжном месте, а их обработка выполнялась мгновенно?
Тогда вам нужно реализовать схему тёплого или горячего ЦОДа, когда инфраструктура, развёрнутая в одном дата-центре, синхронно или асинхронного реплицируется на резервную площадку.
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Строим N...IT-Portfolio
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Когда надо изобретать свой велосипед? Строим NoSQL хранилище в приемлемые сроки", Александр Календарёв (разработчик РБК-Медиа Холдинг / Love Planet)
Аннотация
- Что из себя представляет Современная служба знакомств (крупная соцсеть в миниатюре).
- Какие задачи мы решаем и немного про общую архитектуру проекта.
- Обзор про существующие key/value решения
- Почему не нас не устроили memcachedb, redis, tarantool или MongoDВ...
- Какие велосипеды пришлось изобретать и что взяли готовое.
- Протокол обмена, почему выбрали memcached
- Как и зачем расширять существующие протоколы
- Как устроено хранилище изнутри (на базе key/value Hash & Tree), немного скучной теории про структуры данных, полезно тем, кто все же рискнет написать что-то своё.
- какие key/value АПИ можно еще использовать.
- Проблемы здоровья хранилища или зачем и как делать Мониторинг.
- возможность масштабирования, проблемы и пути решения.
Биография
Опыт в IT индустрии 15 лет, кандидат наук. Докладчик на Hi++ 2011, ADDConf-2, DevConf 2012, PHPConf 2009 и других. Автор блога highloadblog.ru. Круг интересов: хранение и обработка данных.
Лекция 1. Введение в Big Data и MapReduceTechnopark
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
This presentation was created by me for the course of Information technology in 2012. It contains detailed description of OLAP technology and basic description of OLTP technology.
Александр Мигаловский — ГНИВЦ ФНС России — ICBDA 2015rusbase
Выступление Александра Мигаловского (ГНИВЦ ФНС России) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Линейка продуктов PETER-SERVICE TREC предназначена для осуществления мониторинга и анализа трафика, а также управления им в телекоммуникационных и IP-сетях передачи данных.
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимиза...IT-Portfolio
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Оптимизация архитектуры для работы 24/7", Олег Краснов (системный архитектор SEMrush)
Аннотация
Со времени предыдущего доклада прошло полгода и мы сделали огромный рывок вперёд. В 2008 году система хранения SEMrush была построена на базе сочетания SQL с файловым хранилищем и позволяла выдерживать нагрузку примерно в 3 миллиона запросов в день. К моменту прошлого выступления нагрузка возросла на порядок, а сейчас на подобной нагрузке было успешно введено обновление данных онлайн без потери производительности.
В докладе, через призму краткой ретроспективы, будут освещены изменения технологий обработки данных проекта SEMrush. В ходе выступления будет проведен обзор изменившихся требований к системе, как в плане надёжности, так и скорости реакции на запросы пользователей. Выступление будет дополнено реальными проблемами, программного обеспечения и оборудования, а также способами их решения. Кроме этого будет произведён обзор планов на ближайшее будущее.
О компании
Компания SEMrush является разработчиком программного обеспечения для анализа конкурентов и определения ключевых слов для SEO оптимизации, входит в тройку мировых лидеров разработчиков аналитических инструментов для изучения трафика. Существует на рынке с 2007 года. Сервис SEMrush предоставляет пользователям информацию, необходимую для анализа конкурентной среды и оптимизации поисковой выдачи. SEMrush незаменим для углубленного анализа ключевых слов, позиций конкурентов, AdWords кампаний.
Вы узнаете о том, как создать собственную DMP c помощью платформы 1DMP, проблемах использования офлайн-данных в онлайн-каналах, а также о бирже данных как необходимом элементе экосистемы рынка данных.
Выступление Владислава Флакса (OWOX) на International Conference on Big Data and its Applications (ICBDA).
ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.
http://icbda2015.org/
Бизнес вашей компании расширяется или столкнулся с рисками рейдерского захвата? Стал актуальным вопрос сохранности данных? У вас интернет-проект, требующий безостановочной обработки миллионов запросов пользователей, или вы просто заинтересованы в непрерывности бизнеса? Чтобы никакой сбой или потеря контакта с ИТ-инфраструктурой не нарушали работу? Чтобы данные было легко хранить в надёжном месте, а их обработка выполнялась мгновенно?
Тогда вам нужно реализовать схему тёплого или горячего ЦОДа, когда инфраструктура, развёрнутая в одном дата-центре, синхронно или асинхронного реплицируется на резервную площадку.
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Строим N...IT-Portfolio
16 декабря, DEV {highload} - конференция о Highload веб-разработке, "Когда надо изобретать свой велосипед? Строим NoSQL хранилище в приемлемые сроки", Александр Календарёв (разработчик РБК-Медиа Холдинг / Love Planet)
Аннотация
- Что из себя представляет Современная служба знакомств (крупная соцсеть в миниатюре).
- Какие задачи мы решаем и немного про общую архитектуру проекта.
- Обзор про существующие key/value решения
- Почему не нас не устроили memcachedb, redis, tarantool или MongoDВ...
- Какие велосипеды пришлось изобретать и что взяли готовое.
- Протокол обмена, почему выбрали memcached
- Как и зачем расширять существующие протоколы
- Как устроено хранилище изнутри (на базе key/value Hash & Tree), немного скучной теории про структуры данных, полезно тем, кто все же рискнет написать что-то своё.
- какие key/value АПИ можно еще использовать.
- Проблемы здоровья хранилища или зачем и как делать Мониторинг.
- возможность масштабирования, проблемы и пути решения.
Биография
Опыт в IT индустрии 15 лет, кандидат наук. Докладчик на Hi++ 2011, ADDConf-2, DevConf 2012, PHPConf 2009 и других. Автор блога highloadblog.ru. Круг интересов: хранение и обработка данных.
Лекция 1. Введение в Big Data и MapReduceTechnopark
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Ruslan Kh.Khamizov, Natalya S.Vlasovskikh, Lilya P.Moroshkina, Sultan Kh.Khamizov
Scientific and Technological Company “NewChem Technology” LLC
SCIENTIFIC GROUNDS AND PROSPECTS FOR CLOSED–CIRCUIT PROCESSING OF ALUMINA-CONTAINING RAW MATERIALS WITH THE USE OF SALT-ACID METHOD
Экспорт мультимедийных интерактивных онлайн-курсов (МИОК) на платформе HTML5 по иностранным языкам (ИЯ) для обучения за компьютером, планшетом и смартфоном в любой OS.
Разработчик: Cloud-Издательство «Мультимедиа технологии». Руководитель Джавад Аветисян.
Порталы: www.PoliglotPro.com, www.TeachPro.ru
Тел.: (495) 918-10-50, E-mail: javad@teachpro.ru.
Цель: коммерциализация за первый год готовых МИОК по 8 ИЯ в Рунете и параллельное создание в течение этого же года новых МИОК по тем же 8 ИЯ для 8 языковых регионов мира, в которых проживают не менее 1.5 млрд. человек. Со второго года продвижение созданных 42 МИОК, на 8 ИЯ в глобальном WEB и дальнейшее издание новых и новых МИОК для 20-25 ИЯ на разных уровнях сложности.
Финансовый план:
- I год. Инвестиции - 12 - млн. руб. Выручка - 12 млн. руб. Прибыль - 0 руб.
- II год. Выручка – $60 млн. Прибыль - $30 млн.
- III год. Выручка – $120 млн. Прибыль - $60 млн.
Рост рынка за 3 года в 2 раза (30% в год)
Предложение инвестору:
Доля Инвестора - 30%; Доля Проекта - 70%.
Возврат инвестиций - на II год после начала
Выход инвестора: стратег или IPO
Конкурент ы WEB - www.RosettaStone.eu - МИОК по 25 ИЯ для англоязычного пользователя на устаревшем плагине Flash.Конкурент в Рунете - www.LinguaLeo.ru - только один иностранный язык - английский для русскоязычного пользователя на устаревшем плагине Flash.
ММТ издатель МИОК с 1993 г. Издано более 300 МИОК, в т.ч. более 100 МИОК по ИЯ на платформах: DOS, Win16, Win32, Flash, Silverlight, а с 2014 г. на HTML5.
"Innovative Center Jewel" ("IC Jewel") is a Skolkovo IT company, creator of a revolutionary "Jewel Head-Collision Prevention System" (JHCPS), for a long range preventative detection, that enables self-driving car to "see" up to 2,000 meters ahead under any visibility and weather conditions.
"IC Jewel" developes a proof-of-concept functional prototype of JHPC automotive radar system designed to become an OEM portable long-range radar for a car driven on common roads in any weather, in high/low speed traffic and with a projected wholesale price at around $3,000. JHCPS determines the speed of oncoming objects (up to 360 km/h), distance to them and relative trajectory, that enables self-driving car to "see" up to 2,000 meters ahead under any visibility and weather conditions.
• Self-driving cars are no longer a futuristic idea. Companies like Google, Mercedes, BMW, Tesla, Toyota have already released, companies like Apple, Uber and Qualcoom are soon to release, and giants like GM, Kamaz and Tata announced plans for self-driving features that give the car ability to drive itself.
Competitors:Indirect: Lidars optical stereoscope cameras (Fuji Heavy Industries "Subaru EyeSight", Google lidar, etc);
Direct: 76-80 GHz, ultrasonic radars, Car2Car systems (Volvo CWAB, Bosch BLIS, Acura CMBS, etc). All have cost/ size/ efficiency/ capability and other disadvantages
Competitive Advantage:
Long range: 2,000m VS 300m detection range.
All-weather: Any weather conditions VS clear visibility in dry air.
Price: $3,000 VS $70,000+ for LIDAR's.
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
Watch full webinar here: https://buff.ly/3SDOwnX
По данным аналитической компании Gartner, "к 2022 году 60% предприятий включат виртуализацию данных в качестве основного метода доставки данных в свою интеграционную архитектуру". Компания Gartner назвала Denodo лидером в Магическом квадранте 2020 года по инструментам интеграции данных.
В ходе этого 1,5-часового занятия вы узнаете, как виртуализация данных революционизирует бизнес и ИТ-подход к доступу, доставке, потреблению, управлению и защите данных, независимо от возраста вашей технологии, формата данных или их местонахождения. Эта зрелая технология устраняет разрыв между ИТ и бизнес-пользователями и обеспечивает значительную экономию средств и времени.
**ФОРМАТ
Онлайн-семинар продолжительностью 1 час 30 минут. Благодаря записи вы можете выполнять упражнения в своем собственном темпе.
**ДЛЯ КОГО ЭТОТ СЕМИНАР?
ИТ
менеджеры / архитекторы
Специалисты по анализу данных / аналитики
CDO
**СОДЕРЖАНИЕ
В программе: введение в суть виртуализации данных, примеры использования, реальные примеры из практики клиентов и демонстрация возможностей платформы Denodo Platform:
Интеграция и предоставление данных быстро и легко с помощью платформы Denodo Platform 8.0
Оптимизатор запросов Denodo предоставляет данные в режиме реального времени, по запросу, даже для очень больших наборов данных
Выставлять данные в качестве "сервисов данных" для потребления различными пользователями и инструментами
Каталог данных: Открывайте и документируйте данные с помощью нашего Каталога данных - пространства для самостоятельного доступа к данным.
Виртуализация данных играет ключевую роль в управлении и обеспечении безопасности данных в вашей организации
**ПОВЕСТКА
Введение в виртуализацию данных
Примеры использования и примеры из практики клиентов
Архитектура
Управление и безопасность
Производительность
Демо
Следующие шаги: как самостоятельно протестировать и внедрить платформу
Интерактивная сессия вопросов и ответов
Построение Data Mesh на основе Виртуальных ДанныхDenodo
Watch full webinar here: https://buff.ly/48QyYTv
Упростите проектирование инфраструктуры данных вашего предприятия, чтобы оптимизировать процесс принятия решений, расширить возможности экспертов в области данных и повысить согласованность.
Присоединяйтесь к этому вебинару, чтобы узнать, как архитектура Data Mesh, поддерживаемая Виртуализацией Данных, позволяет организациям предоставлять информацию, которая:
Очищена и подготовлена
Зависит от предметной области, но потребляется организацией в целом
В режиме реального времени, по требованию и в режиме самообслуживания.
Полностью управляемая, защищенная, надежная и заслуживающая доверия
Учитывает потребности различных подразделений предприятия.
My presentation at OSPconf. Big Data Forum 2015 in Moscow on Informatica products and solutions in Big Data space: datawarehouse offload, managed data lake, big data Customer MDM, streaming analytics platform.
Знакомство с виртуализацией данных для профессионалов в области данныхDenodo
Watch full webinar here: https://buff.ly/3OETC08
По данным аналитической компании Gartner, "к 2022 году 60% предприятий включат виртуализацию данных в качестве основного метода доставки данных в свою интеграционную архитектуру". Компания Gartner назвала Denodo лидером в Магическом квадранте 2020 года по инструментам интеграции данных.
В ходе этого 1,5-часового занятия вы узнаете, как виртуализация данных революционизирует бизнес и ИТ-подход к доступу, доставке, потреблению, управлению и защите данных, независимо от возраста вашей технологии, формата данных или их местонахождения. Эта зрелая технология устраняет разрыв между ИТ и бизнес-пользователями и обеспечивает значительную экономию средств и времени.
**ФОРМАТ
Онлайн-семинар продолжительностью 1 час 30 минут.
Благодаря записи вы можете выполнять упражнения в своем собственном темпе.
**ДЛЯ КОГО ЭТОТ СЕМИНАР?
ИТ-менеджеры / архитекторы
Специалисты по анализу данных / аналитики
CDO
**СОДЕРЖАНИЕ
В программе: введение в суть виртуализации данных, примеры использования, реальные примеры из практики клиентов и демонстрация возможностей платформы Denodo Platform:
Интеграция и предоставление данных быстро и легко с помощью платформы Denodo Platform 8.0
Оптимизатор запросов Denodo предоставляет данные в режиме реального времени, по запросу, даже для очень больших наборов данных
Выставлять данные в качестве "сервисов данных" для потребления различными пользователями и инструментами
Каталог данных: Открывайте и документируйте данные с помощью нашего Каталога данных
пространства для самостоятельного доступа к данным.
Виртуализация данных играет ключевую роль в управлении и обеспечении безопасности данных в вашей организации
**ПОВЕСТКА
Введение в виртуализацию данных
Примеры использования и примеры из практики клиентов
Архитектура - Управление и безопасность
Производительность
Демо
Следующие шаги: как самостоятельно протестировать и внедрить платформу
Интерактивная сессия вопросов и ответов
Презентация аналитической системы для ритейла СуперМаг BIОникс Софт
СуперМаг BI отвечает на основные вопросы:
Что будет происходить - прогнозные отчеты.
Почему это происходит - статистические отчеты.
Что следует предпринять - сигналы.
Как часто, как много, где и когда - отчеты "на лету".
Что произошло - простые отчеты.
Основная задача BI - повышение конкурентноспособности, повышение удовлетворенности клиента и оптимизация работы.
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
От больших данных к знаниям: преимущества для операторов связиElizaveta Alekseeva
Операторы связи обладают огромными объемами данных об абонентах: об их контактах, использовании Интернета и приложений, истории путешествий и даже о том, как долго они добираются до работы. Чтобы извлечь из всего этого пользу, операторы должны объединить в одно решение все компоненты, помогающие преобразовать данные в знания
В состав IRM Doc входит комплексная ECM-система IRM businessDoc, электронная канцелярия IRM classicDoc, а также система хранения документов IRM archiveDoc.
От Больших данных к знаниям: преимущества для операторов связиYuri Yashkin
Для операторов связи Большие данные — это возможность создать систему аналитики для более эффективной эксплуатации своих сетей, оценить выгоду от предоставления тех или иных услуг и обеспечить индивидуальный подход к клиентам. И директора по маркетингу, и вице-президенты по эксплуатации сетей, и руководители бизнес-подразделений в равной степени стремятся принимать решения, основываясь на результатах обработки значительных объемов информации. Такие компании ожидают, что их маркетологи смогут предложить им комплексные аналитические выводы, подготовленные с учетом данных, имеющихся в их ИТ- и сетевой инфраструктурах. В данном документе рассматриваются все преимущества преобразования данных операторов связи в знания. Этот процесс охватывает источники информации, инструменты сбора данных, аналитические СУБД с быстрым доступом и, наконец, сценарии использования бизнес-аналитики с представлением и визуализацией результатов и прогнозов
https://bit.ly/2X6Domb
В нашу эпоху головокружительных достижений в области искусственного интеллекта, облачных вычислений и передовой аналитики, как ни странно, многие организации по-прежнему полагаются на архитектуры данных, построенные в прошлом веке. Однако, ситуация быстро меняется с ростом применения виртуализации данных в реальном времени для обеспечения безопасного, логического доступа к информации. Данный подход позволяет отказаться от физической трансформации и перемещения данных в хранилище, прежде чем они могут быть использованы бизнесом.
Посетите этот новый вебинар на русском языке, чтобы узнать:
- Что такое виртуализация данных?
- Чем данный подход отличается от других корпоративных технологий интеграции данных, таких как ETL
- Почему крупнейшие организации используют виртуализацию в масштабах всего предприятия
Узнайте больше о проблемах интеграции данных, решаемых с помощью виртуализации и вариантах применения этой динамично развивающейся технологии.
o Задумались о внедрении серьезной аналитической платформы? Отличная идея: производительная аналитика поможет ускорить принятие бизнес-решений и извлечь из данных новую ценную информацию. Узнайте, какими качествами должна обладать современная аналитическая платформа
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Решение на базе MicroSoft Hyper-V приводит к сокращению физической инфраструктуры, упрощению администрирования ЛВС,
Подробнее о дата центрах на сайте www.DCNT.ru
1. Talksum Data Stream Router™
Новый подход к работе с большими данными
1
Confidential Information of Talksum, Inc.
2. Проблемы работы с большими данными
Для работы с Большими Данными требуются не только новые системы
хранения и системы бизнес-аналитики (BI). Необходим современный
подход к архитектуре и управлению данными.
• Проблема: Тяжело одновременно справляться с нарастающими
объемами данных и реагировать на меняющиеся требования к этим
данным.
• Сложность решения: Разнообразные источники генерируют огромные
массивы информации; данные быстро устаревают; часто имеет смысл
ограничиться сохранением только явных аномалий данных; во многих
случаях можно урезать данные без потери информации; доступные
решения для Больших Данных требуют специальных технических
навыков.
• Стоимость решения: Расходы на обработку данных (персонал, время,
инфраструктура) быстро растут, делая
традиционные решения обработки данных
непозволительно дорогими.
2
Confidential Information of Talksum, Inc.
3. Решение Talksum
Новый, современный подход к управлению данными и аналитике с
акцентом на скорость, простоту, экономичность
• Скорость: Решение обслуживает текущие и будущие инициативы
Big Data в реальном времени, оптимизирует инфраструктуру
Больших Данных.
• Простота: Упрощение процесса управления данными. Данные
легко отслеживать, анализировать и маршрутизировать в
реальном времени, одновременно снижая затраты на сбор
данных, ETL и интеграцию.
• Экономичность: Высокоэффективное решение,
требующее минимальных ресурсов, а значит и
снижающее затраты.
3
Confidential Information of Talksum, Inc.
4. Принцип работы Talksum Data Stream Router
Скорость | Простота | Эффективность
Intake
4
Confidential Information of Talksum, Inc.
•
•
•
•
•
•
•
•
Transform
Filter
Data Reduce
Monitor/Alert
Aggregate
Enrich
Analyze
Route
Store
5. Обработка данных
BI
Tool s
An al yt i c
Apps
Talksum Data Processor&Router
Ext er n al St or age
Syst em
Logs
Dat a Cach e
NoSQL
AWS
App
Dat a
Devi ce
St at s
Devi ce
St at s
Transform
Filter
Aggregate
Count
Reduce
Hadoop
SQL Dat a
War eh ou se
Th i r d Par t y
API
Ot h er
Dat a
Real -Ti me
Oper at i on s
Mon i t or i n g & Al er t s
Devi ce
Remot e
Si t es
5
Confidential Information of Talksum, Inc.
6. Talksum Data Stream Router – Маршрутизатор Данных
Refined Data Stream
Refined Data Stream
Логи
приложений
Unix Logs – RFC3164 UDP/TCP
Netflow – UDP – NG v.5, 8, 9, 10
Прикладные
данные
Patient Records (HL7) XML/ASN.1
Transportation (BSM) SAE J2735
Данные извне
B2B/M2M
Соцсети
и доступные
данные
6
Клиент B:
Агрегированные данные
Refined Data Stream
Клиент C:
Динамический Поток
Apache Common Logging – Files
SNMP - UDP
Системные
логи
Данные
сенсоров и
телематики
Клиент A:
Суммированные данные
I2C, CAN, SNMP, Serial
XML, JSON, File, HTTP REST
Twitter, RSS,
CAP (Weather Alerts)
Confidential Information of Talksum, Inc.
Talksum
Data Stream
Router
(TDSR)
• Нормализация
данных
• Синтаксический
Анализ
• Фильтры
• Метрики и
Счетчики
• ETL/PTL
без сохранения
• Выходные потоки
асинхронны
• Верификация
Протокола
Indexed, Mapped, Reduced
Ordered, Sorted Data Streams
Bulk Data Streams
(Lightly Ordered
and Filtered)
• Object Data Stores
• Indexed Data Caches
• NoSQL Data
Warehouses
• SQL Warehouse
• Bulk Data Stores
• File Storage
7. Talksum Data Stream Router
Talksum Data Stream Router реализует новый подход к
управлению данными и аналитике
1. Транслирует входные данные в реальном времени…
2. …конвертируя в гибко управляемые потоки данных
3. …фильтруя и маршрутизируя по контенту
4. …и по корреляции событий из разных доменов
5. …продолжая пополнять существующие системы хранения и
бизнес аналитики.
7
Confidential Information of Talksum, Inc.
8. Вход – Логика транспорта протоколов
• Транспортные протоколы (TCP, UDP, PGM)
• Прикладные (Application) протоколы (HTTP, RFC3164, SNMP,
ZeroMQ)
• Форматы сериализации (JSON, BSON, ASN.1, Protobuf,
MessagePack)
• API Анализатора (Parser API) позволяет легко создавать
синтаксические анализаторы для сообщений прикладного
уровня
• Расширенные возможности управления – чтобы упростить
добавление логики
• Цель – конвертация данных, приходящих в разнообразных
форматах, разными способами транспорта, в потоки данных
8
Confidential Information of Talksum, Inc.
9. Фильтрация, Маршрутизация, Агрегация
• Техники Filter, Pivot, и Мap Reduction применяются «на лету»,
без промежуточного сохранения
• Фильтрация по значению, контексту, состоянию
• Сложная фильтрация нескольких потоков
• Функции Гистограммы для сжатия и сокращения размеров
данных
9
Confidential Information of Talksum, Inc.
10. Трансформация
• “Realtime ETL” для различных потоков данных
• Создание новых сообщений, созданных из свойств
существующих сообщений и статического текста
• Создание SQL команд для вывода во внешние реляционные
БД
• Генерация «атомных» инкрементных команд MongoDB для
простых агрегаций
• Генерация сообщений Redis
10
Confidential Information of Talksum, Inc.
11. Выход
• MongoDB
• Redis
• Elasticsearch
• HDFS
• PostgreSQL
• MySQL
• REST API
11
Confidential Information of Talksum, Inc.
• Маршрутизация через
параллельные каналы для
максимизации пропускной
способности
• Создание сообщений из любых
доступных атрибутов
• Детальные метрики для каждого
маршрута