Beginner-friendly введение в information retrieval, о том, как и зачем нужно считать похожесть текстов, концепции Bag of words, TF-IDF и word embeddings (word2vec, glove, fasttext).

1. Введение в
information retrieval
Всеволод Соловьёв
@murkt

2. Ничто не
предвещало беды

3. Давайте считать
похожесть текстов
• Ээээ, это же текст
• По расстоянию Левенштайна что ли?
• Может без меня?

4. Зачем считать похожесть?
• Определение плагиата
• Поисковый запрос
• Найти другие статьи на ту же тему
• Найти похожие товары по описанию
• Комментарии, которые топят за одну точку
зрения

5. Похожие комментарии
• Маленький, работает
тихо, быстро охлаждает
и нагревает
• Тихий, компактный,
хорошо охлаждает
• Очень тихо работает.
Быстро охлаждает
помещение
• Не показывает
давление, пустая трата
денег
• Показывает низкое
давление, за что
платил?
• Сломался и не работает,
дешевка

6. Преобразуем тексты в
слова
• Убираем пунктуацию
• Переводим в нижний регистр (lowercase)
• Разбиваем на слова

7. • Убираем пунктуацию
• Переводим в нижний регистр (lowercase)
• Разбиваем на слова
Преобразуем тексты в
слова
>>> punct = re.compile(r'[,.?!;:-]')
>>> docs = [set(punct.sub('', text).lower().split()) for text in texts]
>>> docs
[{'быстро', 'и', 'маленький', 'нагревает', 'охлаждает', 'работает', 'тихо'},
{'компактный', 'охлаждает', 'тихий', 'хорошо'},
{'быстро', 'охлаждает', 'очень', 'помещение', 'работает', 'тихо'},
{'давление', 'денег', 'не', 'показывает', 'пустая', 'трата'},
{'давление', 'за', 'низкое', 'платил', 'показывает', 'что'},
{'дешевка', 'и', 'не', 'работает', 'сломался'}]

8. def simple_similarity(doc1, doc2):
maxlen = max(len(doc1), len(doc2))
return len(doc1 & doc2) / maxlen

9. Simple similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0,14
Очень тихо работает. Быстро охлаждает помещение 0,57
Не показывает давление, пустая трата денег 0,00
Показывает низкое давление, за что платил? 0,00
Сломался и не работает, дешевка 0,28

10. Simple similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0,14
Очень тихо работает. Быстро охлаждает помещение 0,57
Не показывает давление, пустая трата денег 0,00
Показывает низкое давление, за что платил? 0,00
Сломался и не работает, дешевка 0,28

11. stopwords = {'и', 'а', 'за'}
def stopwords_similarity(doc1, doc2):
doc1 = doc1 - stopwords
doc2 = doc2 - stopwords
return simple_similarity(doc1, doc2)

12. Stopwords similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0,16
Очень тихо работает. Быстро охлаждает помещение 0,66
Не показывает давление, пустая трата денег 0,00
Показывает низкое давление, за что платил? 0,00
Сломался и не работает, дешевка 0,16

13. Как упростить слова?
• Стемминг оставляет "корень"
• тихий → тих
• polarizations → polar
• Лемматизация переводит в первоначальную
форму
• тихая → тихий

14. >>> import nltk
>>> stemmer = nltk.stem.snowball.RussianStemmer()
>>> stemdocs = [set(map(stemmer.stem, punct.sub('', text).lower().split()))
for text in texts]
>>> stemdocs
[{'быстр', 'и', 'маленьк', 'нагрева', 'охлажда', 'работа', 'тих'},
{'компактн', 'охлажда', 'тих', 'хорош'},
{'быстр', 'охлажда', 'очен', 'помещен', 'работа', 'тих'},
{'давлен', 'денег', 'не', 'показыва', 'пуст', 'трат'},
{'давлен', 'за', 'низк', 'плат', 'показыва', 'что'},
{'дешевк', 'и', 'не', 'работа', 'слома'}]

15. Stemmed similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0,33
Очень тихо работает. Быстро охлаждает помещение 0,66
Не показывает давление, пустая трата денег 0,00
Показывает низкое давление, за что платил? 0,00
Сломался и не работает, дешевка 0,16

16. Bag of words
Набор слов
тихий
компактный
трата
денег
низкое
зрада
бентега
перемога
охлаждает

17. Похожие комментарии
• Маленький, работает
тихо, быстро охлаждает
и нагревает
• Тихий, компактный,
хорошо охлаждает
• Очень тихо работает.
Быстро охлаждает
помещение
• Работает, точно
показывает давление
• Дешевый, работает,
меряет давление
• Маленький, дешевый,
точно меряет - отлично
работает

18. Stemmed similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0,33
Очень тихо работает. Быстро охлаждает помещение 0,66
Работает, точно показывает давление 0,16
Дешевый, работает, меряет давление 0,16
Дешевый, быстро и точно меряет - отлично работает 0,33

19. TF-IDF

20. TF-IDF

21. TF-IDF
TF

22. TF-IDF
TF
IDF

23. TF-IDF
TF
IDF

24. corpus_size = len(stemdocs) # 6
docfreq = Counter(chain(*stemdocs))
# {'работа': 5, 'тих': 3, ...}
def idf(word):
return math.log(
corpus_size / docfreq[word])
def idf_similarity(doc1, doc2):
intersection = doc1 & doc2 - stopwords
return sum(map(idf, intersection))

25. math.log
IDF
редкость слова = corpus_size / docfreq[word]

26. IDF similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 1,39
Очень тихо работает. Быстро охлаждает помещение 2,26
Работает, точно показывает давление 0,18
Дешевый, работает, меряет давление 0,18
Дешевый, быстро и точно меряет - отлично работает 0,87

27. Немного
проффесорской магии

28. Расстояние
Левенштайна
Stemmed
similarity
профессор проффесор 2 0
профессор янукович 9 0
проффесор янукович 9 0
Сравним слова

29. Word embeddings
• Слово как N-мерный вектор (N = 50, 100, 300)
• Similarity как косинус угла между векторами
• word2vec
• GloVe
• fasttext
• ...

30. Расстояние
Левенштайна
Stemmed
similarity
Word
embedding
similarity
профессор проффесор 2 0 0.43
профеcсор янукович 9 0 0.29
проффесор янукович 9 0 0.47
Украинский fasttext

31. WE similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0.81
Очень тихо работает. Быстро охлаждает помещение 0.91
Не показывает давление, пустая трата денег 0.55
Показывает низкое давление, за что платил? 0.57
Сломался и не работает, дешевка 0.57

32. WE similarity
Маленький, работает тихо, быстро охлаждает и
нагревает
Тихий, компактный, хорошо охлаждает 0.81
Очень тихо работает. Быстро охлаждает помещение 0.91
Работает, точно показывает давление 0.66
Дешевый, работает, меряет давление 0.70
Дешевый, быстро и точно меряет - отлично работает 0.73

33. Скомбинировать
WE similarity и TF-IDF?

34. Дерзайте :)

35. Вопросы, замечания?