Документ описывает архитектуру и функциональные компоненты рекомендательного движка сайта imhonet.ru, включая анализ пользовательских предпочтений и подбор аналогичных пользователей. Основное внимание уделяется методам хранения и обработки оценок с использованием различных структур данных, таких как разреженные матрицы и хэш-таблицы, а также обеспечению многопоточности. В результате представлены результаты производительности системы, включая количество расчетов рекомендаций и операций чтения в секунду.

1. Хранение и обработка больших объемов данных в рекомендательном движке сайта Imhonet.ru Дмитрий Исайкин

2. Функции сервиса Анализирует индивидуальный вкус и предпочтения пользователя Подбирает пользователей со схожими вкусами и интересами Предоставляет персональные рекомендации по объектам Удобная альтернатива классическим поисковикам

3. Функциональные компоненты рекомендательного сервиса Рекоменда - тельный движок Сайт Imhonet Коннектор Сайты-партнеры Пользователи

4. Что нужно для расчета рекомендаций Чем больше оценок, тем точнее рекомендации

5. Расчет рекомендаций Построение референтной группы поиск оценок на объекты, оцененные клиентом — поиск кандидатов поиск оценок кандидатов и сравнение их с оценками клиента !!! ??? Запрос Другие пользователи Построение рекомендаций поиск оценок референтов Референты

6. Алгоритм в разрезе доступа к данным Ср. кол-во оценок у объекта = 1000 Ср. кол-во оценок у субъекта = 100 Количество обращений к оценкам: 100 запросов к объектам 6 000 запросов к субъектам + сравнение их оценок

7. Где хранить оценки?

8. Зачем делать самому? + Только нужный функционал + Минимум побочных расходов + Оптимизация под задачу + Быстрота исправления ошибок + Простота API контейнера + Никакого администрирования – Затраты на разработку и поддержку – Проблемы масштабирования Не очень много: менее 900 строк кода на всё Запас на год-два . Проблема уже решается

9. Проектирование контейнера Ассоциативный массив Матрица Требуются только выборки оценок по конкретному пользователю/объекту Матричное представление более предпочтительно

10. Проектирование контейнера. Анализ структуры оценок Будем хранить оценки в разреженной матрице

11. Проектирование контейнера. Разреженная матрица

12. Проектирование контейнера. Анализ паттернов доступа Требуется максимальная скорость просмотра оценок пользователя Будем хранить оценки в массиве пар (произведение, оценка)‏ объ ект оценка оценка пользователь объ ект

13. Проектирование контейнера. Анализ паттернов доступа Требуется быстрое сравнение оценок двух пользователей Будем хранить оценки упорядоченными по идентификаторам 5 оценка 8 оценка пользователь

14. Проектирование контейнера Требуется быстрый поиск оценок пользователей/произведений + не все пользователи/произведения имеют оценки Будем хранить ссылки на пользовательские оценки в хэш-таблице

15. Что мы получили hash_map< subj, array< pair<obj, rate> > > – Не является потокобезопасным

16. Способы обеспечения безопасной многопоточности Взаимоисключающая блокировка Блокировка на чтение-запись Copy and Swap

17. Изменение данных без блокировки читателей Блокируем на запись Создаем копию оценок пользователя Вносим изменения в копию Подменяем старые оценки на новые Используем механизм подсчета ссылок для автоматического удаления неиспользуемой старой копии оценок

18. Изменения в структуре для обеспечения CAS hash_map< subj, ref_count_ptr < array< pair<obj, rate> > > >

19. Сравнение с MySQL Конфигурация MySQL: таблица MyISAM , файл базы в памяти, индекс и по субъектам , и по объектам Входные данные: лог запросов к оценкам при реальном расчете рекомендаций в движке. Один поток исполнения. Только чтение

20. Результаты: операций в секунду Оценок: 10.5 миллионов Запросов к данным: 4.2 миллиона Рассчитанных рекомендаций: 700 636 000 9500 Контейнер операций чтения Движок вычислений MySQL 504 оп. чтения

21. Спасибо за внимание! Вопросы? Дмитрий Исайкин [email_address]