1. Что из себя представляет BERT? 2. Что такое архитектура transformers и какие новые возможности она даёт? 3. Каковы применения BERT? 4. Как проявляется BERT в выдаче?

1. Что такое BERT
Рассказывает Алексей Чекушин

2. Давайте познакомимся
Алексей Чекушин
В SEO с 2008 года, профессионально с 2010
Инхаусы: Wikimart, Ostrovok
Агентства: Kokoc
Создатель Just-Magic.org
Обучение профессионалов SEO
Консалтинг
Автор популярных методов в SEO

3. О чем сегодня?
• - Что из себя представляет BERT?
• - Что такое архитектура transformers и какие новые возможности
она дает
• - Каковы применения BERT?
• - Как проявляется BERT в выдаче?

4. Краткое содержание предыдущих серий
TF-IDF
BM25
Лемматизация
Синонимы
И… всё?

5. 2017 - применение DSSM

6. Что такое BERT?
Bidirectional
Encoder
Representation
from Transformers

7. Развитие архитектур нейросетей
RNN

8. Проблема RNN

9. LSTM
https://habr.com/ru/company/wunderfund/blog/331310/

10. Архитектура Transformers
Multi-head attention layer
Attention is all you need: https://arxiv.org/abs/1706.03762

11. Что дает multi-head attention?

12. B - bidirectional

13. Обучение BERT
- Обучение без учителя.
- Большой корпус текстов.
- Случайное скрытие 15% слов.
- Модель учится угадывать эти слова.

14. Особенности BERT
- Это генерализованная модель.
- У нее много применений за счёт допольнительных слоев.
- Она доступна нам 
- Нет, она все еще не понимает язык.

15. Что умеет BERT? (Чего не умеют другие)
Угадывать связность предложений:
Установка пластиковых окон с гарантией результата.
Бесплатный выезд для замера.
Установка пластиковых окон с гарантией результата. Все
товары для фидерной ловли.

16. Лучше ранжировать

17. Находить ответ на вопрос

18. BERT в выдаче
- Блоки featured snippet
- Результаты, не попадающие по ключам.

19. Чего не умеет BERT?
Понимать

20. Конец
Больше про BERT: https://just-magic.org/blog/7.php
Связаться со мной:
E-mail: a.chekushin@just-magic.org
Telegram: @achekushin