Текстовые факторы при создании сеток сайтов

Текстовые факторы при
создании сеток сайтов
Владимир Лучанинов
16 марта 2018

Что хотим
1.Низкая стоимость контента
2.Качественный контент в глазах Google
Владимир Лучанинов, Playtini SEMPRO 2018

Как измерим «низкую стоимость»
1. Низкая стоимость контента
• Минимум символов
• Большое кол-во подходящих дешёвых копирайтеров
• Простая схема
Стоимость:
$0 :)

А бывает бесплатный контент?
Список от Google
support.google.com/webmasters/answer/2721306?hl=ru

Как измерим «качественный контент»
2. Качественный контент в глазах Google
• Релевантный
• Неспамный
• Уникальный
SERP:
TOP1 по ВЧ :)

Уникальность
• скачать все тематические тексты и проверять по шинглам
• инструменты со своим индексом (скачали Интернет)
• поиск фраз в Google и сверка с TOP
Инструменты:
• content-watch.ru
• copyscape.com
• advego.com/plagiatus/
• text.ru

Неспамность
• поиск по фразе
• если слабая страница – в кавычках
Идеальная фраза:
• короткая
• содержит тематический СЧ-ВЧ
• в SERP – лидеры тематики
• Keyword Difficulty > 0
• больше 1,000 результатов

Релевантность
• попасть в TOP30 по СЧ
• знать формулу ранжирования Google

Как узнать формулу ранжирования
• подсмотреть у конкурентов
• подумать

Подсмотреть формулу в SERP
• keyword
• лучше несколько keywords с одинаковым intent
• убрать нетекстовые факторы
• результат: кластеры страниц со схожими DR и avg. rank
• посчитать нужные параметры
• keyword density в title, h1, тексте
• длина текста
• мерялки: «естественность», «водянистость», «читабельность»,
«Главред», другие «SuperScore»

Закон Ципфа: «естественность»
• Pn = P1 / n
• как его понимают ру-сервисы
«Есть волшебное keyword density для TOP20 слов»
• нюансы
• Рецепт волшебства (P1)
• Стоп-слова
• Как перевести в одно число
Сервис Естественность
1y.ru/text.php 99%
pr-cy.ru/zypfa/text 85%
seolik.ru/zipfa-text 52%
majento.ru/index.php?page=seo-analize/text-semantic/index 38%
miratext.ru/seo_analiz_text -

Метрики для «читаемости»

Эволюция методов расчёта

readable.io: “Stephen Hawking” wikipedia

Flesch-Kincaid

Фильтр по Reading Level

В Google Docs тоже было и не стало

Качество текста
• Главред - glvrd.ru
•TOP1 по «биография Пушкина»
9.1/10 – слова, 9.3/10 – синтаксис
• Grammarly.com

Подумать
• почитать книжки
• подсмотреть/подслушать, что используется

Патенты Google по “Retrieval from Internet”
patents.google.com/?q=G06F17%2f30864&assignee=Google+Inc.&sort=old

TF-IDF
• по словам из query считаем score, суммируем
• если слова нет, то score = 0
• чем более редкое слово, тем лучше
• чем больше раз слово в документе, тем лучше

TF-IDF на примере
doc2
Пластиковые окна:
лучшие окна в Киеве.
Пластиковые,
деревянные, другие.
Лучшие не
деревянные
doc3:
Киев окна - лучшие деревянные.
Лучшие в Киеве, деревянные
окна. Деревянные, «киев»
лучшие окна. Киев и лучшие
деревянные окна. Лучшие
деревянные, окна киев.
doc4
Другие - лучшие деревянные
окна
doc1:
Пластиковые окна
query: пластиковые окна киев

TF-IDF на примере
• пластиковые окна киев
word 1 word 2 word 3

DF
• DF – насколько частое слово в Интернете
intitle:”word N”

IDF
• DF наоборот
обычно ещё добавляют логарифм

TF-IDF
doc1 = 1x2 + 1x1 + 0x2 = 3
doc2 = 2x2 + 2x1 + 1x2 = 8
doc3 = 0x2 + 5x1 + 5x2 = 15
doc4 = 0x2 + 1x1 + 0x2 = 1

Сублинейное масштабирование

Сублинейное масштабирование TF
doc1 = 1.0 x 2 + 1.0 x 1 + 0.0 x 2 = 3
doc2 = 1.3 x 2 + 1.3 x 1 + 1.9 x 2 = 5.9
doc3 = 0.0 x 2 + 1.7 x 1 + 1.7 x 2 = 5.1
doc4 = 0.0 x 2 + 1.0 x 1 + 0.9 x 2 = 1

Нормировка по длине документа
doc1 = 0.50 x 2 + 0.50 x 1 + 0.00 x 2 = 1.5
doc2 = 0.20 x 2 + 0.20 x 1 + 0.10 x 2 = 0.8
doc3 = 0.00 x 2 + 0.25 x 1 + 0.25 x 2 = 0.75
doc4 = 0.00 x 2 + 0.25 x 1 + 0.00 x 2 = 0.25

Итого TF-IDF
Чем больше раз
слово в документе,
тем лучше
Более употребимые
слова – менее
значимы
Чем длиннее
документ, тем
больше раз нужно
включить слово

LSI: дурилка TF-IDF
• обойти антиспам алгоритмы
• обойти ограничения логарифма
1+1+1+1+1 = 5, а не 1.7

Ещё алгоритмы?
• vector space model (TF-IDF)
• probabilistic retrieval models
•classic --> BM25
•language modeling
•divergence-from-randomness
• probabilistic inference
• axiomatic thinking

BM25

BM25: Эксперты объясняют
youtube.com/watch?v=dFlTICNvkgI
Собственно, вот формула, по ней
посчитаете BM25, тут всё очень просто,
каких-то тайн нету.
k1 = 2, b = 0.75
youtube.com/watch?v=8xya4V9rJO8
Нам важно здесь просто понять, что она
очень быстро насыщается

BM25 vs TF-IDF: IDF

BM25 vs TF-IDF: TF
• ограничивает влияние tf
• можно подтюнить меняя k

BM25 vs TF-IDF: длина документа
• тюним влияние длины
документа:
0 – не влияет
1 – очень влияет

BM25: всё вместе

BM25: Britta Weber
bit.ly/bm25-youtube
youtube.com/watch?v=v3Ko0CwgTZ0

Этого достаточно?
youtu.be/CRZfc9lj7Po?t=7m14s
Grant Ingersoll - BM25 is so
Yesterday: Modern Techniques for
Better Search Relevance
That core cosine similarity, TF-IDF, BM25; the reality is that's good for
getting you somewhere between 50 and 70% of the way when it comes
to relevance depending on who you talk to.
I once sat next to the CTO of Yandex at a workshop and he told me in his
opinion at the time core BM25 only got you about 50% of the way in
terms of relevance at the stage like a large-scale web search engine.

У вас просто нет других данных :)

Бонусы: Способы получения бесплатного контента от Google; Как подсмотреть формулу Google в Google SERP; LSI как дурилка алгоритмов релевантности
Как померять тексты
- уникальность
- неспамность
- релевантность
Текстомерки
- естественность от Ципфа
- читаемость от Флеша и товарищей
- качество: glvrd, grammarly
Алгоритмы текстовой релевантности
- TF-IDF
- BM25

vl@playtini.ua
P.S. Ищем SEOшников
Playtini.ua
facebook.com/luchaninov
Владимир Лучанинов SEMPRO 2018

Текстовые факторы при создании сеток сайтов

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Текстовые факторы при создании сеток сайтов

Similar to Текстовые факторы при создании сеток сайтов (20)

Текстовые факторы при создании сеток сайтов