Как собрать 10 миллионов комментариев, используя API ВКонтакте и YouTube, посмотрим, о чем говорят пользователи, слушающие разные жанры музыки, и дадим ответы на такие важные вопросы как: - Может ли тематическое моделирование помочь с кластеризацией жанров? - Есть ли что-то общее у слушателей шансона и джаза? - Как измерить близость Киркорова к Антохе МС?

1. "Кис-кис, вдыхай меня через кес" или о чем
говорят любители рэпа
Python для тематического моделирования
комментариев Вконтакте

2. Дмитрий Сергеев
Data Scientist
Telegram: @dmitryserg
Mail: Sergeyev.D.A@Yandex.ru
Github: https://github.com/DmitrySerg
Филипп Ульянкин
Data Scientist
Telegram: @Ppilif
Mail: Filfonul@gmail.com
Github: https://github.com/FUlyankin
От
… до
1

3. План
§ Парсинг VK и YouTube
§ Предобработка текстов и LDA
§ Нестандартное использование тематических
векторов в домашних условиях
2

4. Цель
§ Выяснить, различаются ли темы для общения у
слушателей разных музыкальных жанров
§ Понять, можно ли с этими темами сделать что-то
ещё
3

5. Зачем?
4

6. Зачем?
https://www.youtube.com/watch?v=l653eXrSV2o
Кто выбирает президентов? –
исследуем электорат
Вконтакте (OpenDataDay 2018)
https://github.com/DmitrySerg/OpenData/tree/master/RussianElections2018
5

7. Подход
§ Найти жанры
6

8. Подход
§ Найти топовых исполнителей по жанрам
7

9. Подход
Итого выбрали 11 жанров:
Эстрада, Попса, Рок, Метал, Классика, Рэп,
Шансон, Джаз, Панк, Танцевальная, Инди
И 134 исполнителя
8

10. Подход
§ Найти соответствующие группы в ВК
9

11. Подход
§ И плейлисты на YouTube
10

12. Подход
§ А дальше - модельки
11

13. Парсинг
VK.com – отличный API:
https://vk.com/dev/manuals
Ссылка на код с парсером
12

14. Парсинг
13

15. Парсинг
14

16. Парсинг
Метод execute – парсим в 25 раз быстрее
15

17. Парсинг
YouTube.com – отвратительный API:
https://console.developers.google.com/apis/api/y
outube.googleapis.com/
Ссылка на код с парсером
16

18. Парсинг
17

19. Парсинг
В результате собрали:
~ 6 миллионов комментариев из Вконтакте
~ 4 миллиона из YouTube
18

20. Предобработка
В основном - gensim
19

21. Предобработка
§ Соединили финальные корпусы текста в один
§ Bag-of-words
§ Выкинули слишком короткие комментарии
(оптимальный результат на 40+ слов)
§ Bigrams + фильтрация по частоте
20

22. Предобработка
Ссылка на код с предобработкой
21

23. Модель
Ссылка на код с моделью
§ Latent Dirichlet allocation (LDA)
§ Главный гиперпараметр для нас – число тем
§ Остановились на 30 темах
22

24. Модель
§ Важно: при сохранении модели нужно отдельно
сохранять аттрибут expElogbeta
§ При подгрузке модели отдельно его подгружать и
присваивать:
23

25. Результаты
Ссылка на код с визуализацией
§ Из 30 тем 27 удалось проинтерпретировать
§ В основном, темы связаны с песнями, альбомами,
благодарностями за концерт и т.д.
§ Но есть и исключения
24

26. Результаты
Визуализация - WordCloud
25

27. 26

28. 27

29. Результаты
Посчитав средние тематические вектора по
подписчикам можно получить тематические профили
по нужным группировкам
28

30. 29

31. Результаты
А имея средние вектора
можно считать расстояния
между ними!
В данном случае
косинусное
30

32. Результаты
А также можно искать похожих (и непохожих)
друг на друг исполнителей!
31

33. 32

34. Результаты
Наконец, можно посмотреть в многомерное
пространство на плоскости!
Multicore-TSNE – как TSNE, только Multicore
33

35. 34
Shanson
Popsa
Rap Dance
Classic
Jazz
Indi
Rock
Pank
Estrada
Metal

36. ссылка 35

37. Выводы
§ Слушатели разных жанров действительно
обсуждают разное
§ Настолько разное, что по темам можно
заново выделять кластеры музыкальных
жанров
§ И это круто!
36

38. Дмитрий Сергеев
Data Scientist
Telegram: @dmitryserg
Mail: Sergeyev.D.A@Yandex.ru
Github: https://github.com/DmitrySerg
Филипп Ульянкин
Data Scientist
Telegram: @Ppilif
Mail: Filfonul@gmail.com
Github: https://github.com/FUlyankin
От
… до