хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet

Хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet.ru Дмитрий Исайкин

Функции сервиса ,[object Object],[object Object],[object Object],[object Object]

Функциональные компоненты рекомендательного сервиса Рекоменда - тельный движок Сайт Imhonet Коннектор Сайты-партнеры Пользователи

Что нужно для расчета рекомендаций Чем больше оценок, тем точнее рекомендации

Расчет рекомендаций ,[object Object],[object Object],[object Object],!!! ??? Запрос Другие пользователи ,[object Object],[object Object],Референты

Алгоритм в разрезе доступа к данным ,[object Object],[object Object],[object Object],[object Object],[object Object]

Где хранить оценки?

Зачем делать самому? ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Не очень много: менее 900 строк кода на всё Запас на год-два . Проблема уже решается

Проектирование контейнера ,[object Object],[object Object],Требуются только выборки оценок по конкретному пользователю/объекту Матричное представление более предпочтительно

Проектирование контейнера. Анализ структуры оценок Будем хранить оценки в разреженной матрице

Проектирование контейнера. Разреженная матрица

Проектирование контейнера. Анализ паттернов доступа Требуется максимальная скорость просмотра оценок пользователя Будем хранить оценки в массиве пар (произведение, оценка)‏ объ ект оценка оценка пользователь объ ект

Проектирование контейнера. Анализ паттернов доступа Требуется быстрое сравнение оценок двух пользователей Будем хранить оценки упорядоченными по идентификаторам 5 оценка 8 оценка пользователь

Проектирование контейнера Требуется быстрый поиск оценок пользователей/произведений + не все пользователи/произведения имеют оценки Будем хранить ссылки на пользовательские оценки в хэш-таблице

Что мы получили ,[object Object],[object Object],[object Object],[object Object],– Не является потокобезопасным

Способы обеспечения безопасной многопоточности ,[object Object],[object Object],[object Object]

Изменение данных без блокировки читателей ,[object Object],[object Object],[object Object],[object Object],[object Object]

Изменения в структуре для обеспечения CAS hash_map< subj, ref_count_ptr < array< pair<obj, rate> > > >

Сравнение с MySQL ,[object Object],[object Object],[object Object]

Результаты: операций в секунду Оценок: 10.5 миллионов Запросов к данным: 4.2 миллиона Рассчитанных рекомендаций: 700 636 000 9500 Контейнер операций чтения Движок вычислений MySQL 504 оп. чтения

Спасибо за внимание! ,[object Object],[object Object]

хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet

Recommended

Recommended

More Related Content

Similar to хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet

Similar to хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet (20)

More from Ontico

More from Ontico (20)

Recently uploaded

Recently uploaded (9)

хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet

Editor's Notes