Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Василий Суханов — SAP — ICBDA 2015

Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA).

ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных.

http://icbda2015.org

  • Be the first to comment

Василий Суханов — SAP — ICBDA 2015

  1. 1. Ассоциативные правила и анализ больших массивов данных на платформе SAP HANA Vasily Sukhanov/ Software engineer September, 2015 Public
  2. 2. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 2Public Agenda Архитектура SAP HANA  Основные компоненты, терминология и базовые понятия Разработка кода на платформе SAP HANA  Обзор SDK Application Function Library (AFL) Возможности AFL SDK  Обзор функциональности в составе AFL SDK Команда COiL в SAP Labs  Цели и задачи
  3. 3. Архитектура SAP HANA Основные компоненты, терминология и базовые понятия
  4. 4. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 4Public Архитектура SAP HANA • Управление данными в памяти – движок in-memory • Реляционное представление данных в памяти, поддержка языка SQL (спецификации ANSI SQL 92,99,2003,2008) • Работа с различными уровнями абстракции при обработке данных – движок Graph Engine, Full-Text search, библиотеки базовых алгоритмов для задач Data Mining, Predictive Analytics и реальных задач – Decision Making, Advertisement targeting, задачи Computer Vision и т.д. • Интеграция с различными источниками данных – Smart Data Integration • Обработка информации в потоковом режиме – Smart Data Streaming • Интеграция с Hadoop SPARK на основе нового продукта SAP HANA VORA • Встроенный сервер приложений XS Engine, есть поддержка интеграции с Node.js(в данный момент основной язык XS Engine - JavaScript ServerSide, планируется поддержка Java, Go, C++ контейнеров в следующей версии XS2)
  5. 5. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 5Public Архитектура SAP HANA
  6. 6. Разработка кода на платформе SAP HANA Обзор SDK Application Function Library (AFL)
  7. 7. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 7Public Use Case: Поиск ассоциативных связей Алгоритм Apriori -> SAP HANA Predictive Analytics Реализован метод поиска в ширину, Ограничения на длину последовательности, Время работы алгоритма неприемлемо Требуется обеспечить время поиска связей ~3 секунд Для массива с общим количеством покупателей – 30 000 000 Среднее количество транзакций одного покупателя – 10 Основные параметры: SUPPORT, CONFIDENCE
  8. 8. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 8Public Разработка кода на платформе SAP HANA Алгоритм поиска ассоциативных связей – SPAM Использует поиск в глубину Предварительно отсортированный массив транзакций Использует представление последовательности в виде Bitmap Определяет операции «И» и «ИЛИ» для Bitmap структур + эвристику для минимизации вариантов в дереве решений для достижения высокой скорости вычислений
  9. 9. Возможности AFL SDK Обзор функциональности в составе AFL SDK
  10. 10. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 10Public Возможности AFL SDK Разработчику Возможность встраивать в ядро СУБД кастомный код Доступ к аллокаторам памяти в СУБД Доступ к multithreading фреймворку Прямой доступ к данным в памяти SAP HANA Возможность использования встроенных методов защиты от сбоев во время выполнения кода Возможность встраивания уже разработанных алгоритмов в состав AFL библиотеки Пользователю Доступ к AFL библиотеке как к обычной SQL функции Моделирование трансформаций данных в RealTime – использование цепочек Data Flow и использования алгоритмов AFL и библиотек Predictive Analytics Работы с разнородными источниками данных (потоковые данные, реляционные структуры, представления в виде графа) и возможность запуска алгоритма реализованного в виде AFL на этих данных в рамках SQL процедуры
  11. 11. Команда COiL в SAP Labs Цели и задачи
  12. 12. © 2015 SAP SE or an SAP affiliate company. All rights reserved. 12Public Команда CoiL в SAP Labs Moscow • Работа с партнёрами SAP в России и вывод решений StartUp на рынок • Интеграция решений партнёров в продукты SAP • Продвижение на рынок продуктов SAP + партнёрских решений • Реализация совместных проектов с клиентами SAP и партнёрами • Успешный опыт реализации проектов в России
  13. 13. © 2015 SAP SE or an SAP affiliate company. All rights reserved. Спасибо Contact information: Vasily Sukhanov vasily.sukhanov@sap.com Software engineer

    Be the first to comment

    Login to see the comments

  • VladimirSizykh

    Sep. 25, 2015

Выступление Василия Суханова (SAP) на International Conference on Big Data and its Applications (ICBDA). ICBDA — конференция для предпринимателей и разработчиков о том, как эффективно решать бизнес-задачи с помощью анализа больших данных. http://icbda2015.org

Views

Total views

4,103

On Slideshare

0

From embeds

0

Number of embeds

3,298

Actions

Downloads

25

Shares

0

Comments

0

Likes

1

×