Владимир Лучанинов. Сделай сам анализатор SERP
•Download as PPTX, PDF•
0 likes•391 views
1. Вопросы при аналитике SERP. 2. Существующие решения: SaaS, self-hosted, Desktop. 3. Создание системы аналитики под себя из Netpeak Checker, Google Sheets и Google Data Studio.
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Владимир Лучанинов. Сделай сам анализатор SERP
Similar to Владимир Лучанинов. Сделай сам анализатор SERP (20)
More from Octopus Events
More from Octopus Events (20)
Владимир Лучанинов. Сделай сам анализатор SERP
- 2. Зачем
- 3. “If you can’t measure it, you can’t improve it.” Peter Drucker
- 4. Что обычно смотрят • Позиции конкурента и нашего сайта • Одноразово для аудита и составления сем. ядра • Позиции нашего сайта по 1-100 ключам • Ежемесячно (когда сдавать отчёт) • TOP10 по 1-5 ключам • По настроению или когда спрашивают «где трафик?»
- 5. ЕбоSEOшим -> (шототам) -> $$$
- 6. • Думаем: Roadmap + кластеры • SEOшим: Таски в “Done” • Индексация: TOP3 по «фразе» • Адекватный контент: TOP3 по фразе • Чуток SEO: TOP10 по НЧ • Норм SEO: TOP10 по нужным ключам Чёткая воронка
- 7. Чёткая воронка • Думаем: Roadmap + кластеры • SEOшим: Таски в “Done” • Индексация: TOP3 по «фразе» • Адекватный контент: TOP3 по фразе • Чуток SEO: TOP10 по НЧ • Норм SEO: TOP10 по нужным ключам SERP
- 8. Тулзы
- 9. Позиции конкурента и нашего сайта • $50/mo - SerpStat • $83/mo - SemRush • $83/mo - Ahrefs • $5K/mo – SimilarWeb • Free – только свой сайт • Google Search Console • Yandex Webmaster Лайфхаки • $7 Ahrefs trial • Складчина • Разово: @wmaster_bot • 4 грн за отчёт • Помощь друга • Free as in “free beer”
- 10. Мониторинг позиций • Desktop • Server • SaaS • Пристроенный сарай
- 11. Desktop • SEO PowerSuite • LinkAssistant RankTracker • Advanced Web Ranking • WebCEO.com (first love)
- 12. Server • API (свои прокси) • A-Parser • API (чужие прокси) • SerpStat • SERanking • DataForSEO.com
- 13. SaaS • topvisor.ru • seranking.ru • rankinity.com (seoprofy рекомендует) • ranktrackr.com • ranktracker.com • accuranker.com • rankwatch.com • много денег? • BrightEdge • Conductor SearchLight • SearchMetrics
- 14. Пристроенный сарай • SerpStat • Ahrefs • SemRush • Majestic PRO • Moz Обещание Реальность
- 18. Сравнение позиций хостов на дату
- 19. SERP Archive
- 20. TOP Competitors
- 21. Dashboard
- 22. Найдите 10 отличий (RankTracker)
- 23. Drilldown
- 24. Чего не хватает
- 25. Фатальные недостатки • Нельзя выгрузить сырые данные • Нет данных по всем конкурентам в прошлом A Brief History of Windows Programming Revolutions lurkmore.to/Фатальный_недостаток
- 26. Почему это мешает • У нас всех давно не 1 сайт, а «сетка» • Facebook, Twitter, Pinterest, PR-статьи, страницы на Розетке, … • Как анализировать апдейт? • Где были сегодняшние топы месяц назад? • Как анализировать тренды интента? • Надо идти в маркетплейсы? Делать инфостатьи? • Как оперативно знать изменение кластеров? • Как сделать фирменный кастомный отчёт?
- 27. Сделай сам
- 28. «Очумелые ручки» • Сбор данных: Netpeak Checker • Препроцессор: Google Apps Script • Хранение данных: Google Sheets • Визуализация: Google Data Studio
- 29. Netpeak Checker
- 30. Netpeak Checker > Экспорт
- 31. SERP DB “Import”
- 32. SERP DB “SERP”
- 33. SERP DB: Config
- 34. Data Studio: Data Source
- 35. Data Studio: Data Source
- 36. Отчётики
- 39. TOP Competitors
- 47. Сравнение позиций хостов на дату
- 49. SERP Archive
- 53. SUM(pos_group_top3) = сколько keywords в TOP3 Лайфхак: можно сделать top1, top5 и top10 :)
- 56. Что дальше
- 57. Хотелки • Алиасы хостов (переезды, зеркала) • Автоназвание новых кластеров • Связанность кластеров • Графики • Ваш вариант
- 59. Ограничители • Netpeak Checker: рученьки устают • Google Script: 6 min / run; 90 min / day • Google Sheets: 5M cells; 800 keys x TOP10 x 55 weeks • Google Data Studio: тормоза бесят, ограничители фантазии
- 60. Масштабирование • Netpeak Checker -> Autohotkey -> API (A-Parser, SE Ranking, …) • Google Script -> PHP / Python • Google Sheets -> MySQL • $3/mo VDS с бекапами, docker, 10 min • Google Data Studio -> Power BI -> Tableau
- 61. • Нужно трекать SERP • Есть тулзы • Хочется костюм под себя • Можно сделать SERP- анализатор из подручных инструментов • Нужно зарегаться на bananza.net и написать в телеграм @luchaninov
Editor's Notes
- Всем привет! Меня зовут Вова Лучанинов и сегодняшняя тема – об анализе SERP.
- Меня некоторые недолюбливают за то, что даже, когда ответ может быть очевиден, я спрашиваю «Зачем?». Это важно, чтобы напомнить “acceptance criteria” и убедиться, что все участники одинаково понимают цели.
- Вот вам цитата классика менеджмента. Нужно мерять то, что мы хотим улучшить. А позиции в поисковиках – это как раз то, что мы хотим улучшить.
- Наблюдая за тем, как SEOшники трекают SERP, выделил несколько use cases. Один раз перед тем как выбить бюджет смотрят на конкурентов в SERP, добавляют ключи, о которых не думали, а конкуренты думали. Добавляют в трекер сотню ключевых ключей и за день до сдачи отчёта экспортят текущие позиции. Ну и если спросят за трафик судорожно вручную посмотрят на google top10 и взгрустнут. Это то как обычно бывает и я считаю, что этого недостаточно.
- Как выглядит процесс продвижения для многих SEOшников? Работаем работу – получаем результат. У кого получается – тот конечно молодец, но у кого не получается, можно разложить процесс на этапы и сделать методологию более предсказуемой.
- Сначала мы думаем, составляем семантическое ядро, прописываем в общих чертах в каком направлении будем бежать, определим ресурсы, сроки. Потом поработаем работу. Тут менеджеры могут трекать успех количеством задачек в JIRA в Done. Когда наш контент в интернете, нужно трекать, что с ним: если мы не накосячили, то все страницы должны довольно быстро стать в top3 по случайной фразе из текста в кавычках. Потом, если у нас адекватный сайт и контент, то будет показываться в топе и без кавычек. Потом делаете SEO-магию и появляетесь по нормальным ключевикам. Если ваша магия правильная, то даже по нужным ключевикам.
- Почти для всего из этого пригождается SERP. Или для постоянного монитонинга, или хотя бы для идей.
- Чтобы анализировать SERP по больше, чем 10 ключевикам, очень удобно пользоваться тулзами.
- Если вам не нужно real-time и вы ещё не уверены, что у вас полное семантическое ядро, отлично подходят тулзы, которые иногда проверяют SERP по довольно популярным запросам. SerpStat, SemRush и Ahrefs все меня раздражают по-своему, но на самом деле они показывают схожие результаты. SimilarWeb очень интересен на больших сайтах и может показывать данные, которые сильно отличаются от Ahrefs, потому что смотрит на настоящих пользователей, а не на прокси-метрики, которые подтягиваются из данных поисковиков. Если вы в TOP10 по нужным ключам, то самые точные данные по частотности - в Search Console. Как жить без денег? Можно попросить Ahrefs за $7 на тест, вписаться с складчину, найти тех, кто может вам сделать разово отчёты или попроситься к другу за компьютер, пока он отвлечётся на пиво.
- Если нужен мониторинг ключей, которые вы уже определили, то есть несколько других вариантов.
- Если вы пенсионер или думаете, что кто-то наживается на ваших данных, то есть скачиваемые программы. Мой первый трекер был WebCEO, с ним мы доходили до top3 по online casino в мире, поэтому жить можно. Хотя сейчас, когда у вас много девайсов и хотите шерить с коллегами - уже не так удобно. Могу разве что посоветовать установить на удалённый компьютер и подключаться по RDP с рабочего, домашнего компьютера, телефона, холодильника или с чего вы сейчас, молодёжь, выходите в интернет.
- Раньше было несколько достойных программ, которые можно было установить на свой сервер и мониторить позиции, но сейчас я такие и не вспомню. Но если вы хотите на сервере, всё равно захотите, что-то кастомное, поэтому, вероятнее всего, нужен свой программист. От чего хочу предостеречь - не давайте ему писать google scraper - это проблемы не только с проксикапчами, но и с тем, что google любим менять формат выдачи и программист будет много времени тратить на адаптацию кода. Хотите кастомных отчётов - вот их и пишите, а данные тяните через API.
- Сейчас все сервисы ушли в облако и хотят ежемесячно денег, потому что они SaaS. Если вы никаким не пользовались, я советую взять topvisor, он по красивости-функциональности-простоте, по-моему, большинству оптимален. Если хотите проще-дешевле или всегда смотрите несколько вариантов перед выбором, посмотрите и на остальные из этого списка. Ещё есть Enterprise-решения, которые настолько дорогие, что идут с аналитиком впридачу. Они подходят тем, кому даже +1% к результату перекрывает стоимость в тысячи долларов в месяц.
- И есть популярные жадные сервисы, которым не достаточно своих функций, они заодно могут и ключи трекать. Они рассказывают, что они же эксперты в сборе данных и поэтому сделают круче всех, и функционально вроде да - позиции правильно показывают, но по юзабилити - грусть-печаль.
- Я мог кого-то незаслуженно пропустить, вот вам все seo-сервисы.
- Можно отфильтровать только serp rank trackers, но они, например, отфильтровали Majestic. Да, представляете, Majestic теперь тоже может трекать ключи в PRO-эккаунте в тестовом режиме.
- Вот это, наверное, самый часто просматриваемый отчёт в трекерах. Строки - ключи, столбцы - даты, значения - позиции в поисковике. Можно выбрать один из поисковиков, регионов, сайтов. Иногда эти же данные можно посмотреть с другой группировкой - например, график видимости, средней позиции, диаграмма с количеством ключей в TOP3/5/10/100. Но это просто другое представление тех же данных.
- Другой частый отчёт - это посмотреть на одну дату позиции сразу по нескольким сайтам. Интересно померяться с конкурентами или выбрать сразу несколько своих сайтов.
- Ещё интересно посмотреть TOP10 по разным ключевикам за конкретную дату. Но не у всех такое есть, даже в topvisor надо платить двойной прайс, чтобы посмотреть на такой отчёт.
- Надо знать с кем мы боремся и на каком сейчас месте. Вот такой отчёт показывает видимость в данном поисковике на определённую дату. Это полезно, чтобы знать кого анализировать. Полезно посмотреть по разным группам ключевиков, иногда натыкаешься на интересные нишевые сайты у которых можно что-то подсмотреть.
- И все любят графики, тыдышборды. Вот так выглядит у ahrefs. Зашёл, посмотрел, что растёт. Ну и хорошо. Можно не анализировать детально.
- Я говорил, что тулзы похожи, вот интерфейс RankTracker - найдите 10 отличий от предыдущей картинки.
- Удобно, что можно тыкнуть на что-то и провалиться дальше в анализ. Но, например, SERP показыватеся только на последнюю собранную дату, хотя хочется посмотреть на дату год назад или просто до апдейта.
- Казалось бы - всё есть, раньше всем хватало, а теперь почему-то не хватает. Что не так?
- Мне для анализа хочется иметь все данные. Все - это сырые, вплоть до SERP по каждому ключу за каждую дату. Кажется, только у SemRush я видел подобное в API, но не факт, что они соберут выдачу в нужный вам день по нужному ключу. Возможно, это просто фатальный недостаток, кто не знает, что это - почитайте статью на луркморье.
- Как рационально обосновать этот перфекционизм и скрытые страхи и комплексы для адекватных людей? Хм… Во-первых, все текущие трекеры сильно оптимизированы на продвижение конкретного сайта, а не кучи сайтов или зеркал и переездов. Вероятно, вы скажете, что у вас-то не так, у вас всего один сайт. Но, есть же ещё Facebook, ваши страницы на агрегаторах, статьи с нужной информацией. Во-вторых, текущие трекеры заточены под то, что ты знаешь не только свои ключевики, но и конкурентов за которыми хочешь следить. А если вылезет новый конкурент, не сможешь открутить его историю, а начнёшь следить с даты обнаружения. В-третьих, я нигде на текущих трекерах не видел, чтобы можно было разметить все сайты по группам и потом следить за движением не конкретных сайтов, а групп. Что происходит в выдаче долгосрочно? Съедят ли всех маркетплейсы? Также многие составляют кластеры одноразово и потом верят в них много лет. Мир меняется и интент может разделить или склеить часть кластеров. Если вы даже это заметите, то не узнаете, давно ли это произошло, не сможете сопоставить со скачами в позициях. И маркетологам нравятся красивые отчётики. Не имея сырых данных, вы очень ограничены в том, какие сможете построить.
- Короче, приходится делать всё ручками. Шучу, трекеры можно использовать для трекинга ключевых ключевиков, но свой трекер тоже нужен.
- Постарался выбрать только доступные инструменты, которые, вероятно, у вас есть, поэтому свой трекер окажется неоптимальным, немасштабируемым, зато бесплатным. Воспользуемся тем, что Netpeak в неравной борьбе с Google умудряется точно собирать позиции и сохранять странный, но точный отчёт. Преобразуем его данные в удобные для анализа с помощью Google Apps Script и запишем в Google Sheets. Потом наделаем отчётиков в Google Data Studio. Короче, если у вас уже есть Netpeak и google-эккаунт, то всё без регистрации и смс.
- Запускаете Netpeak Checker, нажимаете "не хочу слышать благую весть об обновлениях", тыкаете кнопку "Парсер ПС", вбиваете ключи, в настройках указываете ТОП10, регион, если есть прокси и антикапчу. Потом старт и ждёте. У меня 150 ключей в 2 поисковиках проверяет за 5 минут. Жаль, что это вам не Жаба, которую можно запускать шедулером по расписанию, нужно тыкать пальцами. Потом нажимаете на экспорт.
- Получаете вот такой файл. Выглядит красиво, но неоптимально для наших целей. Если вы из поколения Зет и у вас нет Excel, можете открыть этот файл в Google Sheets.
- Копипастите с специальный Google Sheet, у меня там есть скрипт с ручкой Import
- Вот в таком формате нам в итоге нужны данные. Можно использовать мой скрипт, который я расшарю, кому нужно, а можно и самому сделать подобное вручную или js-программистами.
- Чтобы красиво заполнить данные, я заполняю конфиги. Это нужно делать разово при добавлении новых данных - ключевиков или конкурентов. В hosts группы бывают - our, competitors, trusted. Ещё есть специальные группы: new - автодобавленные ранее неизвестные конкуренты, mix - там где нельзя только по хосту определить группу URLа - например, на facebook может быть как ваша страница, так и конкурентов. Такие URLы будут добавляться на страницу urls и нужно их там разметить. Заранее предупреждаю, что в данной презентации данные фейковые и я просто выбрал десяток сайтов и отметил их ours. Может туда попали действительно некоторые наши сайты, я не сверял.
- Данные готовы, теперь нужно ими накормить Data Studio. Создаёте новый Data Source, выбираете коннектор "Google Sheets" и выбираете нужный файл и лист.
- Размечаете формат полей - строка/число/дата. Обычно оно само правильно угадывает.
- Данные собрали, привели в удобный вид, вгрузили в датастудию. Теперь можно фигачить отчётики.
- Обычно в примерах гуру датастудии вы видите такие отчёты - с картинками, графиками, картами. Выглядит, конечно, красиво, но почему-то такие отчёты один раз делают и больше никогда не смотрит.
- Нам нужна не красота, а мясо. Поэтому, чем больше отчёт похож на скучную таблицу, тем больше там обычно смысла и потенциальной пользы.
- Давайте для начала повторим отчёты Topvisor. Вот топ конкурентов по одному поисковику.
- А вот вам топ конкурентов сразу по 2 поисковикам. Уже в 2 раза лучше. Но подождите, мы же можем добавить свой кастомной логики. Например, я считаю, что wikipedia и youtube нам не прямой конкурент, поэтому можно не показывать трастовые сайты в списке топ-конкурентов. У топвизора есть фильтр по группе ключевиков, и у нас есть. Только у нас круче - можно не только фильтровать по конкретной группе, а по группам, которые содержат или не содержат какое-то слово. А сбоку покажем кто целиком забирает трафик. Тут уже не отфильтровываем трастовые сайты, интересно, сколько у них трафика. И раз мы знаем какие сайты коммерческие, можем выделить кластеры ключевиков, где трафик у коммерческих сайтов и те, где трафик у некоммерческих.
- Настраивается такой лист за 10-15 минут, никакого программирования. Похоже на Pivot Tables в Excel. Если вы с ними разобрались, то и с этим разберётесь. Если до сих пор не знаете как пользоваться Pivot Tables, то зря, завтра погуглите и разберитесь.
- Ещё был такой отчёт, который всем нравится. Строки - ключевики, столбцы - даты, значения - позиция выбранного сайта.
- Клац-клац и сделали такой же отчёт. Единственное неудобство - можно сортировать только по данным, которые отображаются на экране. Я люблю сортировать по полезности ключевика по убыванию, чтобы самые частотные ключи были повыше. Поэтому получается лишний столбец. Добавляем в таблицу фильтр по url_group = our и получаем суммарные данные по всем нашим сайтам. По трафику я выбрал сумму, а по позициям минимальное значение. То есть, если у нас один сайт на 1-м, а второй на 5-м месте, то покажется, что по этому ключу мы на 1-м месте. Можно отфильтровать данные по определённому домену или по группе доменов, которые содержат 24 в url.
- Но что если нам мешает лишний столбец. У нас же есть отдельный лист keywords, где есть keyword и volume. Google Data Studio спешит на помощь. Там есть возможность делать "blended data source" - склеивать несколько data sources в один. Выглядит довольно запутанно, но достаточно сделать 1 раз, чтобы понять что к чему. Подключаем данные из keywords, связываем по keyword, выбираем все нужные нам данные для фильтров и таблицы. В отчёте выбираем blended data source.
- Ура, нет лишнего столбца, данные отсортированы по volume, а не нашему traffic. И для полного счастья ещё разукрасим позиции - чем зеленее, тем круче.
- Разукрашка делается с помощью условного форматирования, очень похоже на аналогичную функцию в Excel.
- Дальше был отчёт - одна дата, позиции нескольких сайтов по всем ключевикам.
- Да пожалуйста. Только у нас опять получилось лучше. Мы можем указать любые сайты, а не только заранее выбранные конкуренты.
- И вот этот отчёт я люблю - топчик за дату по выбранному ключевику.
- Вбиваем ключевик, выбираем дату и смотрим сразу в двух поисковиках. И опять у нас лучше - мы же разметили сайты, поэтому есть столбец с группой сайтов. И ещё разукрасим для красоты.
- А теперь примеры отчётов, которые интересны, но нет в популярных трекерах. Допустим, нам пришла гениальная идея продвигать не только сайт, но ещё и видосики. Неплохо перед этим посмотреть, показывается ли вообще youtube по нашим ключам. В обычном трекере вам надо было бы добавить его в конкуренты, подождать пока пройдёт следующая проверка, проанализировать и удалить из конкуентов, потому что дорого. Посмотреть тренд - всегда ли так было или есть рост-падение - вообще нельзя. А у нас можно.
- Обычно трекеры показывают стату до уровня ключевиков, а если их хотя бы сотни, уже не влезает в экран, а значит сложно анализировать. А мы можем сделать отчёт до уровня кластеров ключевиков. Выбираем любой сайт и видим по каким кластерам он получает трафик.
- Также я считаю полезным смотреть на уровне кластеров статистику - по скольки ключевикам мы в TOP3. Мы могли бы добавить такое поле в Google Sheets, но там количество клеток на листе ограничено, поэтому лучше добавить расчётное поле в Google Data Studio. Если позиция 1, 2, 3 - то оно будет 1, иначе 0. Тогда нам будет достаточно посчитать сумму по этому полю, чтобы узнать количество ключей в TOP3.
- Вот такой получается отчёт. Выбираем целиком группу сайтов или конкретный сайт и смотрим динамику по количеству ключей, где мы в TOP3.
- Ох, какой я молодец. Но подождите пока хлопать.
- Давайте подумаем, а что бы ещё хотелось.
- Я бы хотел, чтобы хосты можно было назвать весёлыми именами, а не "boringsite.com". Это и удобнее для восприятия и сильно упрощает склеивание в наших отчётах постоянно переезжающих сайтов. Также, чтобы упростить первоначальную кластеризацию, можно было бы называть кластеры автоматически, причём одинаково называть кластеры с одинаковыми сайтами в TOP3. Ещё интересно, насколько кластер ещё правильный. Для этого можно покзаывать насколько похожи TOP3 по данному кластеру. Абсолютное значение не так важно, как резкие его изменения. Ну и конечно, все хотят графиков. Это всё можно сделать с этими данными.
- И ещё хотят автоматизации. Вот таблица допустимого времени на автоматизацию. Например, если вы потратите день на задачу, которую вы делаете каждый день по 1 минуте, то эта экономия вам окупится за 5 лет.
- Какие у нас есть ограничители. Для сбора данных нужно не забывать нажимать одни и те же кнопочки: запустить Netpeak, открыть парсер ПС, нажать Рестарт, подождать, нажать Экспорт, скопировать в Google Sheet, нажать Import. Google Script у меня на 300 ключевиках импорт отрабатывает за 10 секунд. Возможно, будет дольше, когда будет много данных. У нас есть 6 минут. Потом нужно что-то решать - например, импортировать за несколько запусков. Если копить данные долго, может закончиться лимит клеток в Google Sheets. Текущего лимита хватит на год, если 800 ключей сбор TOP10 раз в неделю. Потом можно или чистить данные, или разбивать на несколько листов и объединять с помощью blended data source. Я привык к хорошему, поэтому мне тормоза в несколько секунд в Google Data Studio кажутся ооочень долгими и я забываю, что хотел сделать.
- К счастью, это конвейер и можно поменять только ту часть, которая является узким звеном. Netpeak Checker можно тыкать не руками, а запрограммировать Autohotkey. Или перейти на API стороннего сервиса. Google Script можно поменять на PHP или Python-скрипт. И разработчиков больше и возможностей по обработке данных больше. Google Sheets можно за 10 минут, если знать как это делать, можно поменять на взрослую базу данных вроде MySQL. Это стоит столько, сколько самая простая VDS - от 3 до 10 долларов в месяц. И Google Data Studio можно поменять на более профессиональный инструмент. Тот, кто видел отчёты на Tableau, понимает о чём я говорю.
- Итого: трекать SERP нужно, есть тулзы, но они не всемогущи, в отличие от вас. Я хотел описать общий принцип, с нуля настроить такую систему занимает пару дней, но я могу дать для примера ту, которую показал. Чтобы мне меньше людей писало, я придумал квест на получение этого шаблона - нужно зарегистрироваться на сайте bananza.net и потом написать мне в telegram @luchaninov свой email, я расшарю на него.
- Спасибо, что дослушали. Если хотите пользоваться классными инструментами, Firelink ищет толковых SEOшников и линкбилдеров. А если пока не ищете работу по уважительной причине, например, льёте на гемблу, то подключайтесь к чатику в Telegram.