Международная конференция по интернет-маркетингу «Неделя Байнета». День Поисковый Маркетинг, 7 апреля, Минск, Беларусь. Больше информации об Алексее Чекушине и о других спикерах Недели Байнета смотрите на сайте конференции www.bynetweek.by Узнавайте актуальную информацию о конференции на странице Недели Байнета в Facebook https://www.facebook.com/BynetWeek/

2. Текстовая революция
bynetweek.byорганизатор 2017
Алексей Чекушин

3. 1972
TF-IDF
198x
BM25 Lang Model ???LSI
198x 1992 2017
ТАЙМЛАЙН ТЕКСТОВЫХ ФАКТОРОВ

4. БЕЗ КЛЮЧЕВЫХ СЛОВ
Как?

5. СЕМАНТИЧЕСКИЕ ВЕКТОРА
косить
трава
заяц
«Зайцы косят траву»

6. ЧТО МЕШАЕТ?
• Сколько существует слов?
• Сколько слов в документе?
• Нужно уменьшить размерность!

7. LSI – метод сжатия размерности

8. LSI – метод сжатия размерности

9. НЕЙРОННЫЕ СЕТИ

10. УСКОРЕНИЕ

11. Алгоритмы?

12. ЯНДЕКС - АЛГОРИТМ ПАЛЕХ

13. Палех
ОСОБЕННОСТИ ПАЛЕХА
Буквенные триграммы + слова + биграммы
Обучение на действиях пользователей

14. RankBrain
GOGLE - RANKBRAIN

15. Ну и что нам с этим делать?

16. • Построить вектор запроса
• Построить вектор документа
• Сравнить вектора
OK, GOOGLE. Что нам теперь с этим делать?

17. • Анализ топа поиска
• Расширение топа методом векторной схожести
• Данные из больших коллекций
ВЕКТОР ЗАПРОСА?

18. ВИЗУАЛЬНОЕ ПРЕДСТАВЛЕНИЕ

19. • Построить вектор запроса
• Разложить на составляющие
• Показать составляющие
А ДЛЯ НОВОГО ТЕКСТА?

20. ПРЕДСТАВЛЕНИЕ ВЕКТОРА

21. А ТУТ О ЧЕМ РЕЧЬ?

22. • По униграммам сложно понять о чем речь.
• Человеку желательно давать биграммное
представление.
• Бигрыммы можно получить через
коллокации.
ВЕКТОР В ВИДЕ БИГРАММ

23. Примеры коллокаций:
красная площадь
холодная война
поисковая оптимизация
алгоритм палех
ВЫДЕЛЕНИЕ КОЛЛОКАЦИЙ
Коллокация – устойчивое словосочетание

24. Методы выделения коллокаций:
• Mutual Information
• T-score
• Log-likelihood
ВЫДЕЛЕНИЕ КОЛЛОКАЦИЙ

25. ВЫДЕЛЕНИЕ КОЛЛОКАЦИЙ –ПРАКТИКА

26. О ЧЕМ РЕЧЬ?

27. СПАСИБО ЗА ВНИМАНИЕ.
куда можно написать:
a.chekushin@just-magic.org
или
a.chekushin@ostrovok.ru
just-magic.org
FIN