Выступление Дмитрия Морозова, нашего ведущего специалиста по проектированию IT-инфраструктурных решений, на техническом семинаре «Hadoop на практике. Новые инструменты и проекты» (12 ноября 2014 года, Москва).
Леонид Блохин (Big Data Engineer): КОЛОНОЧНЫЕ БД НА ПРИМЕРЕ PARQUETProvectus
"Отличия строковых и колоночных баз данных.
Apache Parquet, области применения, преимущества которые он дает, сравнение с другими колоночными базами данных.
Apache Spark, области применения, отличительные особенности, приемущества и недостатки, работа с parquet файлами в Hadoop File System.
RDD, DataFrames, и Datasets в Apache Spark, зачем они нужны, как ими пользоваться, какие профиты.
Mist, используем Spark, как сервис с REST API"
Леонид Блохин (Big Data Engineer): КОЛОНОЧНЫЕ БД НА ПРИМЕРЕ PARQUETProvectus
"Отличия строковых и колоночных баз данных.
Apache Parquet, области применения, преимущества которые он дает, сравнение с другими колоночными базами данных.
Apache Spark, области применения, отличительные особенности, приемущества и недостатки, работа с parquet файлами в Hadoop File System.
RDD, DataFrames, и Datasets в Apache Spark, зачем они нужны, как ими пользоваться, какие профиты.
Mist, используем Spark, как сервис с REST API"
InterSystems Healthshare +DeepSee. BI solution for hospitalization queue monitoring Krasnoyarsk Region
InterSystems Healthshare +DeepSee. BI решение для мониторинга очереди госпитализации на примере Красноярского Крас
СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №10 "Нереляционное решение в области баз данных — NoSQL". Лектор - Станислав Ступников.
Вводная часть посвящена определению и истории развития концепции NoSQL. Даются характеристики, рассказывается о способах использования. Рассматриваются виды NoSQL БД, теоретические основы NoSQL, а в конце лекции обсуждаются недостатки NoSQL-решений, а также проводится сравнение разных NoSQL-решений.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Анализ и оценка систем адресации данных в современных ЭВМSergey Gerasimov
Часть операционной системы, которая «отвечает» за корректное хранение данных и предоставление доступа к ним пользователю и прикладным программам
Порядок, определяющий способ организации, хранения и именования данных на носителях информации ИТ-оборудования
Система адресации данных является одной из самых существенных составных частей файловой системы. Именно система адресации позволяет находить нужный файл среди множества как пустых, так и занятых блоков на диске.
Выступление Михаила Заборова, нашего руководителя стратегических проектов, на круглом столе Московского клуба тестировщиков в Deutsche Bank (2 декабря 2013 года, Москва).
Омниканальность как один из ответов ритейла на изменение Customer ExperienceCUSTIS
Выступление Германа Алексеева, директора по информационным технологиям компании «Спортмастер», на профессиональной встрече CUSTIS Meetup: Омниканальность в ритейле (21 апреля 2016 года, Москва).
Открытый семинар для студентов в компании CUSTIS (16 апреля 2015 года).
Лектор: Игорь Шаталкин, разработчик .NET.
Аннотация: Качество и скорость программирования во многом зависят от умения работать с чужим кодом. Если программист получил задачу доработать модуль, написанный кем-то другим, то встают вопросы: как найти кусок кода, в который нужно внести изменения? Как понять то, что написано другим? Если программист получил задачу создать модуль с чистого листа, то перед разработкой стоит «оглядеться вокруг»: кто-то в проекте уже, наверное, решал похожую задачу, и если найти это решение, то можно взять его за основу и, с одной стороны, избежать досадных ошибок, а с другой — использовать его возможности («фичи»). На семинаре мы рассмотрим типовые задачи, возникающие при поиске и понимании чужого кода, а также методики и инструменты для их решения.
Видеозапись выступления: https://vimeo.com/125715694.
Учетная машина — универсальная архитектура учетно-аналитических системCUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции по развитию решений, на конференции Application Developer Days (23–24 сентября, Ярославль).
Открытый семинар для студентов в компании CUSTIS (24 октября 2013 года).
Лектор: Николай Гребнев, руководитель IT-проектов.
Разработка ПО уже давно не удел одиночек: современные продукты и системы разрабатываются коллективами. Иногда это небольшая группа единомышленников, а иногда — организация из нескольких тысяч человек. На этом семинаре вы узнаете, как из группы специалистов сделать команду, — чтобы обсуждения проходили легко и эффективно, а работа в группе давала кумулятивный эффект. Будут рассмотрены современные методологии разработки ПО (Scrum и Kanban), техники эффективного обсуждения и командной работы.
Видеозапись семинара: https://vimeo.com/78151492.
Выступление Бэлы Кулешовой, начальника департамента банковских технологий и программного обеспечения Нордеа Банка, на профессиональной встрече CUSTIS Meetup: Управление ИТ-проектами в банках (17 марта 2016 года, Москва).
Открытая банковская платформа для типовых сервисов и продуктовCUSTIS
Выступление Андрея Леушева, члена правления Инфрафонда РВК, на профессиональной встрече CUSTIS Meetup: Управление ИТ-проектами в банках (17 марта 2016 года, Москва).
Открытый семинар для студентов в компании CUSTIS (17 апреля 2014 года).
Лектор: Михаил Заборов, архитектор, руководитель стратегических проектов.
Аннотация: Учет нужен везде, где требуется четко знать количественные показатели ресурсов и структуру их потоков, будь то деньги на карманные расходы или многомиллионные торговые проводки организаций. На семинаре мы расскажем, почему учет — это не обыденная бухгалтерия, а живой и крайне сложный процесс, поделимся богатым опытом создания учетно-аналитических IT-систем, а также приоткроем тайну авторской методологии учета, которая применяется в нашей компании.
Видеозапись семинара: https://vimeo.com/92632839.
InterSystems Healthshare +DeepSee. BI solution for hospitalization queue monitoring Krasnoyarsk Region
InterSystems Healthshare +DeepSee. BI решение для мониторинга очереди госпитализации на примере Красноярского Крас
СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №10 "Нереляционное решение в области баз данных — NoSQL". Лектор - Станислав Ступников.
Вводная часть посвящена определению и истории развития концепции NoSQL. Даются характеристики, рассказывается о способах использования. Рассматриваются виды NoSQL БД, теоретические основы NoSQL, а в конце лекции обсуждаются недостатки NoSQL-решений, а также проводится сравнение разных NoSQL-решений.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Анализ и оценка систем адресации данных в современных ЭВМSergey Gerasimov
Часть операционной системы, которая «отвечает» за корректное хранение данных и предоставление доступа к ним пользователю и прикладным программам
Порядок, определяющий способ организации, хранения и именования данных на носителях информации ИТ-оборудования
Система адресации данных является одной из самых существенных составных частей файловой системы. Именно система адресации позволяет находить нужный файл среди множества как пустых, так и занятых блоков на диске.
Выступление Михаила Заборова, нашего руководителя стратегических проектов, на круглом столе Московского клуба тестировщиков в Deutsche Bank (2 декабря 2013 года, Москва).
Омниканальность как один из ответов ритейла на изменение Customer ExperienceCUSTIS
Выступление Германа Алексеева, директора по информационным технологиям компании «Спортмастер», на профессиональной встрече CUSTIS Meetup: Омниканальность в ритейле (21 апреля 2016 года, Москва).
Открытый семинар для студентов в компании CUSTIS (16 апреля 2015 года).
Лектор: Игорь Шаталкин, разработчик .NET.
Аннотация: Качество и скорость программирования во многом зависят от умения работать с чужим кодом. Если программист получил задачу доработать модуль, написанный кем-то другим, то встают вопросы: как найти кусок кода, в который нужно внести изменения? Как понять то, что написано другим? Если программист получил задачу создать модуль с чистого листа, то перед разработкой стоит «оглядеться вокруг»: кто-то в проекте уже, наверное, решал похожую задачу, и если найти это решение, то можно взять его за основу и, с одной стороны, избежать досадных ошибок, а с другой — использовать его возможности («фичи»). На семинаре мы рассмотрим типовые задачи, возникающие при поиске и понимании чужого кода, а также методики и инструменты для их решения.
Видеозапись выступления: https://vimeo.com/125715694.
Учетная машина — универсальная архитектура учетно-аналитических системCUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции по развитию решений, на конференции Application Developer Days (23–24 сентября, Ярославль).
Открытый семинар для студентов в компании CUSTIS (24 октября 2013 года).
Лектор: Николай Гребнев, руководитель IT-проектов.
Разработка ПО уже давно не удел одиночек: современные продукты и системы разрабатываются коллективами. Иногда это небольшая группа единомышленников, а иногда — организация из нескольких тысяч человек. На этом семинаре вы узнаете, как из группы специалистов сделать команду, — чтобы обсуждения проходили легко и эффективно, а работа в группе давала кумулятивный эффект. Будут рассмотрены современные методологии разработки ПО (Scrum и Kanban), техники эффективного обсуждения и командной работы.
Видеозапись семинара: https://vimeo.com/78151492.
Выступление Бэлы Кулешовой, начальника департамента банковских технологий и программного обеспечения Нордеа Банка, на профессиональной встрече CUSTIS Meetup: Управление ИТ-проектами в банках (17 марта 2016 года, Москва).
Открытая банковская платформа для типовых сервисов и продуктовCUSTIS
Выступление Андрея Леушева, члена правления Инфрафонда РВК, на профессиональной встрече CUSTIS Meetup: Управление ИТ-проектами в банках (17 марта 2016 года, Москва).
Открытый семинар для студентов в компании CUSTIS (17 апреля 2014 года).
Лектор: Михаил Заборов, архитектор, руководитель стратегических проектов.
Аннотация: Учет нужен везде, где требуется четко знать количественные показатели ресурсов и структуру их потоков, будь то деньги на карманные расходы или многомиллионные торговые проводки организаций. На семинаре мы расскажем, почему учет — это не обыденная бухгалтерия, а живой и крайне сложный процесс, поделимся богатым опытом создания учетно-аналитических IT-систем, а также приоткроем тайну авторской методологии учета, которая применяется в нашей компании.
Видеозапись семинара: https://vimeo.com/92632839.
Омниканальная модель в ритейле: решения и кейсыCUSTIS
Выступление Петра Асратяна, директор программы модернизации информационных систем «Леруа Мерлен Восток», на конференции «IT в ритейле» (12 сентября 2016 года, Москва).
Аналитик и Тестировщик в одном лице – путь к качеству (Максим Цепков, SQA Day...CUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции по развитию решений, на конференции Software Quality Assurance Days (2–3 декабря 2011 года, Москва).
Открытый семинар для студентов в компании CUSTIS (30 октября 2014 года).
Лектор: Максим Зинченко, ведущий разработчик Java/Oracle.
Аннотация: В последние несколько лет тема паттернов для проектирования реляционных хранилищ регулярно поднимается на тематических ресурсах, но почти всегда обсуждения приводят к пустой полемике и заканчиваются ничем. По таким паттернам практически невозможно найти дельную литературу, в отличие от паттернов проектирования для императивных языков. Почему все так плохо? Есть ли вообще такие паттерны? Почему семинар так странно называется? Мы попробуем разобраться с этими вопросами, а заодно совместно спроектируем несколько интересных систем и обсудим качество нашего проектирования.
Видеозапись семинара: https://vimeo.com/111013795.
«Стой! Кто идет?»: аутентификация и авторизация в корпоративных системахCUSTIS
Открытый семинар для студентов в компании CUSTIS (22 октября 2015 года).
Лектор: Владислав Иофе, архитектор.
Аннотация: При проектировании и реализации корпоративных систем всегда возникает целый ряд вопросов: нужно ли самим разрабатывать систему контроля доступа? Как аутентификация и авторизация встраиваются в архитектуру приложения? Возможно ли сделать вход в систему одновременно простым, удобным и безопасным? Что делать с паролями от сотен сайтов?
На семинаре мы рассмотрим разные методы аутентификации и авторизации, попробуем обойти их, а также познакомимся с промышленными стандартами и современными трендами в этой сфере применительно к корпоративным системам. Мы дадим ответы на уже заданные и многие другие вопросы не с точки зрения специалиста по безопасности, а с позиций проектировщика, пользователя, разработчика, тестировщика и инженера сопровождения, и уделим особое внимание архитектуре и юзабилити.
Видеозапись семинара: https://vimeo.com/143727329.
RBAC & ABAC: гибридное решение для управления правами доступаCUSTIS
Выступление Вячеслава Муравлева, нашего ведущего разработчика, на международной выставке InfoSecurity Russia (20 сентября 2016 года, Москва).
Видеозапись выступления:
https://vimeo.com/183804752
Модернизация хранилища данных для использования передовой аналитикиYuri Yashkin
Обновление хранилища, предназначенного для обработки и анализа больших объемов данных, не должно нарушать функционирования вашей информационной среды. Благодаря низкой стоимости, высокой скорости и масштабируемости массивно-параллельной архитектуры колоночная база данных, в частности HPE Vertica, способна стать важнейшим элементом гибридной архитектуры Больших данных.
Инфраструктура Big data - от источников до быстрых витрин - версия для МИСиСYury Petrov
В докладе я постараюсь донести до аудитории общую концепцию построения инфраструктуры Big Data, которую многие не видят.
Будут и инсайты и самый главный из них это то, что за долгое время работы с Big Data я таки вывел определение для этого термина
Модернизация хранилища данных для использования передовой аналитикиElizaveta Alekseeva
Устаревшее хранилище данных сильно «тормозит» и обходится слишком дорого? Даже если вам очень хочется выбросить его на помойку, не делайте этого: вы рискуете совершить не просто ошибку, а очень дорогостоящую ошибку. Просто замените платформу СУБД с построчным хранением данных на более современную – с поколоночным.
Druid is one useful and popular tool in the Big Data world. It is this OLAP system that allows you to efficiently process, store and query data. Which confirms the demand for Druid among tools in the Big Data processing environment.
With Vladimir Iordanov we will talk about how Druid works, what it consists of and what its capabilities are. Vladimir will introduce us to the Druid components, talk about the cluster architecture, how data processing is going on.
https://bit.ly/2X6Domb
В нашу эпоху головокружительных достижений в области искусственного интеллекта, облачных вычислений и передовой аналитики, как ни странно, многие организации по-прежнему полагаются на архитектуры данных, построенные в прошлом веке. Однако, ситуация быстро меняется с ростом применения виртуализации данных в реальном времени для обеспечения безопасного, логического доступа к информации. Данный подход позволяет отказаться от физической трансформации и перемещения данных в хранилище, прежде чем они могут быть использованы бизнесом.
Посетите этот новый вебинар на русском языке, чтобы узнать:
- Что такое виртуализация данных?
- Чем данный подход отличается от других корпоративных технологий интеграции данных, таких как ETL
- Почему крупнейшие организации используют виртуализацию в масштабах всего предприятия
Узнайте больше о проблемах интеграции данных, решаемых с помощью виртуализации и вариантах применения этой динамично развивающейся технологии.
Выступление Владимира Рахтеенко, нашего генерального директора, и Германа Алексеева, ИТ-директора ГК «Спортмастер», на Неделе российского ритейла (7 июня 2017 года, Москва).
Будущее уже наступило: от Agile к бирюзовым организациямCUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции развития решений, на форуме «Дни PR и маркетинга на Юге» (1 июня 2017 года, Ростов-на-Дону).
Диаграммы учета как средство для наглядного и целостного отображения правил у...CUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции развития решений, на конференции «Соколовские чтения «Бухгалтерский учет: взгляд из прошлого в будущее» (22 апреля 2017 года, Санкт-Петербург).
Опыт построения микросервисной архитектуры в цифровом банкеCUSTIS
Выступление Андрея Солощака, ведущего архитектора «Бинбанка», на профессиональной встрече CUSTIS Meetup: Микросервисы в Enterprise (16 марта 2017 года, Москва).
Золотая лихорадка MSA: почему нам не подошли микросервисы?CUSTIS
Выступление Юрия Веретельникова, сооснователя и технического директора Solit Clouds, на профессиональной встрече CUSTIS Meetup: Микросервисы в Enterprise (16 марта 2017 года, Москва).
Выступление Игоря Беспальчука, нашего руководителя проектов, на профессиональной встрече CUSTIS Meetup: Микросервисы в Enterprise (16 марта 2017 года, Москва).
От монолитных моделей предметной области — к модульнымCUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции развития решений, на World Information Architecture Day (18 февраля 2017 года, Санкт-Петербург).
Будущее omni-channel маркетинга: инструменты, кейсы и цифрыCUSTIS
Выступление Артема Казакова, директора по маркетингу Retail Rocket, на бизнес-завтраке «К 2017 готовы: продвинутые инструменты маркетинга для интернет-магазинов» (13 декабря 2016 года, Москва).
This document summarizes Adam Sitnik's presentation on .NET performance. It discusses new features in C# 7 like ValueTuple, ref returns and locals, and Span. It also covers .NET Core improvements such as ArrayPool and ValueTask that reduce allocations. The presentation shows how these features improve performance through benchmarks and reduces GC pressure. It provides examples and guidance on best using new features like Span, pipelines, and unsafe code.
Опыт применения метода ATAM для оценки архитектурыCUSTIS
Выступление Игоря Беспальчука, нашего руководителя проектов дирекции архитектуры, на заседании русского отделения INCOSE (9 ноября 2016 года, Москва).
Видеозапись выступления:
https://vimeo.com/190918892
Process и Case Management в информационной системе: от автоматизации As Is к ...CUSTIS
Выступление Максима Цепкова, нашего главного архитектора дирекции развития решений, на ежегодной конференции CEE-SECR – 2016 (29 октября 2016 года, Москва).
Process и Case Management в информационной системе: от автоматизации As Is к ...
Опыт разработки масштабируемого решения по хранению журналов в Hadoop
1. 12 ноября 2014 года
Опыт разработки масштабируемого решения по хранению журналов в Hadoop
Дмитрий Морозов
Ведущий специалист по проектированию IT-инфраструктурных решений
3. Специфика компаний, с которыми работаем
Торговые сети
Банки
Разнообразный парк автоматизированных учетных систем
Нагруженные базы данных, большая часть из которых –Oracle
3/19
4. Трудности компаний, обладающих зоопарком учетных систем
Дорогое хранение практически неиспользуемых данных журналов
Сложное администрирование оперативных баз данных, недостаточное окно времени для резервного копирования
Невозможность использовать информацию журналов для анализа
4/19
5. Цели решения (интересы клиентов)
Уменьшить стоимость хранения данных журналов, обеспечив доступ к ним из существующих приложений
Сохранить привычный способ работы с приложениями для пользователей
Упростить задачи администрирования БД
Создать возможность использования журналов при анализе больших данных
5/19
6. Модель жизненного цикла данных
Оперативный контурОтчетный контурАналитический контурАрхивный контурУдалениеСоздание
6/19
8. Журналы как отдельная категория
Существенный вклад в объем данных Большой поток данных Только для чтения Отдельное хранение Масштабируемость Оптимизация на чтение/поиск/аналитику
8/19
10. Почему Hadoop?
Варианты размещения журналов:
Партиционированиев рамках того же экземпляра БД
В отдельном экземпляре БД
В распределенном хранилище (например, ElasticSearch)
В хранилище Hadoop
Преимуществавыбора Hadoop:
Стоимость хранения
Масштабируемость и отказоустойчивость
Богатые возможности ad hoc анализа данных инструментами Hadoop
10/19
12. Общая схема решения: было
АСГенерация данных журналовСохранение данных журналовФайлы на локальных дискахЖурналыв БДИнтерфейсы доступа к журналамПервичная записьЧтениеЗапрос данныхЗапись данных
12/19
13. Общая схема решения: стало
АСГенерация данных журналовСохранение данных журналовФайлы на локальных дискахЖурналыв БДИнтерфейсы доступа к журналамПервичная записьХранилищежурналовАрхивированиеЧтениеЗапрос данныхЗапись данных
13/19
14. Размещение данных
Даты событийЖурналы в исходной БД(фиксированный объем) Журналы в хранилищеПеренос данныхУдаление данныхСоздание новых данныхОперативный и отчетный контурАналитический и архивный контур
14/19
16. Подключение АС к хранилищу
16/19
Сервер приложений (Java/Jboss) БД(Oracle) Журнал сервера приложенийЗапрос журнальных данныхИнтеграционный адаптерБД + Сервер приложений(Oracle) Интеграционный журналЗапросжурнальных данныхЗапрос «свежих» журналовИнтеграционныйжурналИнтеграционный адаптерЗапрос «свежих» журналовЖурнал приложенияЖурнал приложенияИнтерфейс запроса данных(REST API) Интерфейс импорта файловых журналовИнтерфейс импорта журналовРСУБДЗапрос данныхЗапись данных
17. Стоимость хранения данных (10 Тб)
На СХД среднего уровня
Полка СХД + коммутаторы ~3 млн руб.
SATA~ 50 Тб, т.е. 600 тыс. руб. за 10 Тб
SAS ~15 Тб, т.е. 2 млн руб. за 10 Тб
SSD, FlashCacheи т.п. даже не рассматриваем
На HDFS
По 10 Тб обычных дисков на 4 дешевых сервера ~50 х 4 = 200 тыс. руб.
Оборудование и для хранения, и для вычислений
Разница –минимум в 3 раза, для SAS–в 10
17/19
18. Результаты решения
Значительно сокращается стоимостьхранения данных журналов (минимум в 3 раза)
За счет уменьшения объемов оперативных БД упрощаются задачи администрирования, уменьшается время создания резервных копий
Для пользователей ничего не изменилось, существовавшие интерфейс и функционал АС сохранены
Информацию, которая раньше считалась обузой, можно использовать при анализе больших данных
18/19