Спикер - Сергей Черненко

1. Автоматическая
генерация контента с
помощью Python
Сергей Черненко
py4seo.com
декабрь 2018

2. Пару слов о себе
7 лет опыта в SEO
- продвигал более 300 сайтов
- продвигал сайт с посещаемостью 500к в сутки
- работал и на Запад и под СНГ
- делал и белое и черное SEO
- проводил эксперименты
- вел SEO блог
3 года опыта с Python
- Создавал SEO инструменты для своих задач
- Писал парсеры
- Разрабатывал сайты
- Делал дорвеи
py4seo.com

3. Для чего?
Автоматически сгенерированный контент может
применяться повсеместно как для черного так и для
белого SEO
- дорвеи
- сайты pbn
- сайты MFA
- сайты под партнерки
- большие сайты на миллионы страниц
- агрегаторы
добавьте свой вариант
py4seo.com

4. Что такое сгенерированный
контент?
Сгенерированный контент - это контент полученный
автоматически
py4seo.com

5. Способы генерации контента
1) Комбинирование кусочков контента
2) Генерация по шаблонам
3) Парсинг контента с разных источников
4) Автоматический перевод
5) Совместные методы
py4seo.com

6. Комбинирование кусочков
контента
Комбинировать можно кусочки контента своего же сайта
Простейший пример - объединение товаров по какому-то
признаку (Фильтры, страницы тегов).
Актуально для больших сайтов.
Комбинировать свой же контент можно производя
полнотекстовый поиск по базе движком ElasticSearch или
Sphinx.
Пример:
https://prom.ua/Futbolki-muzhskie - страница категории
https://prom.ua/Futbolka-s-nadpisyu.html - сгенерированный
тег
py4seo.com

7. Комбинирование кусочков
контента
py4seo.com

8. Комбинирование кусочков
контента
Совет:
Делайте “хитрые комбинации”
Можно создать страницу тегов и разместить на ней 20
товаров, и вывести первых 10 слов из описания.
А можно использовать “хитрый механизм” и вывести не
первые 10 слов описания, а 10 слов из серединки, которые
к тому же будут содержать нужные ключи.
Гугл в своей выдаче подстраивает сниппеты под запрос.
Настраивайте и вы свои сниппеты под страницу.
py4seo.com

9. Комбинирование кусочков
контента
Комбинировать можно кусочки чужого контента.
Правда, как только мы его спарсили, он уже стал нашим и
для него действует тот же принцип, как в прошлых 3-х
слайдах)
py4seo.com

10. Генерация по шаблонам
Тема, которую применял еще с 2011-го года. А кто-то
наверняка и сильно раньше.
Пример:
http://seogenerator.ru/tools/
Работает так:
Человеком составляется специальный шаблон, в котором
прописываются синонимы как отдельных слов, так и
предложений. Потом шаблон обрабатывает программа, и
случайно выбирает по одному из написанных синонимов.
Таким образом получаются очень похожие, но уникальные
тексты.
py4seo.com

11. Генерация по шаблонам
py4seo.com

12. Генерация по шаблонам
py4seo.com

13. Парсинг контента с разных
источников
https://web.archive.org/ - классика для PBN
Но не Веб Архивом единым.
В сети существует гораздо больше сайтов, на которых есть
контент, который не индексируется Гуглом или пока еще не
успел проиндексироваться Гуглом.
Ищите быстро обновляемые и большие сайты.
py4seo.com

14. Парсинг контента с разных
источников
Подлый способ - спарсить и выложить чужой, пока еще не
проиндексированный контент у себя и ускорить
индексацию у себя.
Этот способ хорошо подходит не для авторского, а для
user-generated контента. Можно собирать и агрегировать у
себя комментарии, объявления, сообщения которые еще
не проиндексированы там где написаны.
Пример:
https://www.goodreads.com/book/show/37975580-someone-li
ke-me (Sort: Newest)
Тут комментарии часто появляются и обновляются но
индексируются медленно. Вряд ли вас заметят.
py4seo.com

15. Парсинг контента с разных
источников
Ваш основной контент может быть полностью спаршен
откуда-то. Да и вас могут легко спарсить)
Пример:
Как-то приснилось, что парсил auto.ria.com и выкладывал
их объявления на другом сайте. Но вместо первых 2-х
предложений описания машины, выводил в своем
каталоге предложения 2-4 из того же описания.
py4seo.com

16. Парсинг контента с разных
источников
py4seo.com

17. Парсинг контента с разных
источников
Сайт на спаршеном контенте рос так:
py4seo.com

18. Парсинг контента с разных
источников
Вокруг парсинга контента и комбинирования можно
сильно заморочиться:
- парсить выдачу и выдергивать абзацы текста с разных
сайтов, выдергивать предложениями и
рекомбинировать их
- парсить выдачу и брать сниппеты прямо из выдачи
и склеивать их в текст (дорвеи так и делают)
То что я не проверял:
- парсинг контента из FB, VK, OK и т.д.
- парсинг комментов под видео из Youtube
py4seo.com

19. Автоматический перевод
В сети есть миф о том, что Гугл хорошо определяет, что
контент является автопереводом и выбрасывает его из
SERP. А вы сами проверяли?
Второй миф, что автоперевод через Google Translate
отслеживается и нужно использовать что-то другое.
Я проверял. Результаты неоднозначны.
Сайт seoshnik.top - новый домен был наполнен
автопереводами, контент был проиндексирован, повисел в
индексе и был выброшен из индекса.
Для других сайтов ситуация получше.
py4seo.com

20. Автоматический перевод
Сайт с возрастом, позициями и трафиком, у которого блог
стал наполняться статьями с автоматическим переводом.
py4seo.com

21. Автоматический перевод
Сайт у которого весь собственный контент был
автоматически переведен на 5 языков.
py4seo.com

22. Автоматический перевод
Автопереводы через Google Translate работают.
Но нужно быть аккуратным.
Хорошо работают автопереводы близких языковых пар.
Автоперевод пары русский-украинский будет практически
неотличим от человеческого текста.
Перевод пары испанский-английских будет лучше чем
пары русский-английский.
Перевод пары испанский-португальский - будет тоже
хорошим.
Никогда не переводите с китайского на русский. Хотя это и
сработало на Алиэкспрес, но вас забанят)
Переводил библиотекой
https://github.com/ssut/py-googletrans
py4seo.com

23. Комбинированные методы
Все способы автоматического получения контента можно
комбинировать.
Задача:
Дано ключевое слово на английском. Необходимо
получить уникальную, читаемую статью для сайта PBN.
Вариант решения:
Переводим ключевое слово на испанский, делаем запрос
в испанский Гугл, лезем в выдачу, дергаем оттуда
случайные сайты, на случайных сайтах дергаем случайные
абзацы, берем по 1-3 абзаца, склеиваем в один текст.
Получаем комбинированный испанский текст. Переводим
его обратно в английский язык.
py4seo.com

24. Комбинированные методы
Экспериментируйте, если у вас есть такая возможность.
py4seo.com

25. Что еще?
Генерация контента - это не волшебство, при котором
компьютер просто так производит текст.
Производить текст можно только на основании чего-то. На
основании других текстов, из которых мы что-то понимаем.
py4seo.com

26. Генерация текстов с помощью ИИ
Есть сложные современные алгоритмы машинного
обучения и анализа текстов. Но они работают по такому же
принципу, сначала нужно проанализировать огромную
базу, определить в ней закономерности и потом на
основании них что-то делать, генерировать текст.
Процесс анализа, обучения - это очень ресурсоемкий
процесс. Во-первых вам все равно нужно спарсить базу.
Потом на этой базе обучить нейросеть А на выходе все
равно получится текст который легко отличить от
человеческого.
В SEO практике я считаю это пока что не применимо.
py4seo.com

27. Цепи маркова
С этим видом алгоритмов я не работал.
Посчитал бесперспективным.
py4seo.com

28. Причем тут Python ?
Все что вы увидели в докладе
Все это делалось на Python
Можно его выучить и сильно расширить свои возможности
Можно выучить и что-то другое
Можно писать ТЗ для программистов
py4seo.com

29. Спасибо за внимание
Буду рад ответить на вопросы и пообщаться в Facebook
https://www.facebook.com/4e.sergei
или Telegram
https://t.me/sergei4e
py4seo.com