Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
1
Боты в помощь
контент-менеджеру
BabyBrick.ru
Руслан Валеев
14.04.2016
2
План
 Характеристики товара. Как возникла идея применить боты?
 Какие есть проблемы с автозагрузкой
 Этапы разработки...
3
Характеристики товара
4
Проблемы с автозагрузкой
 Каждый сайт имеет свою уникальную структуру
 Структура сайтов со временем меняется
 Сложнос...
5
Допущения и ограничения
 Выкачиваем только сайты с “нашими” артикулами и “нашими” названиями
производителей
 При таком...
6
Эволюция разработки
 Версия 1
– Выкачивание контента сайта конкурентов с помощью PHP и анализ
содержимого
– Для каждого...
7
Архитектура
8
Как бороться с чужими ботами
 99% используемых ботов не содержат движок JavaScript
 Решение:
– Через Javascript выстав...
9
Демо: отчет об отсутствующих атрибутах
10
Размеры товара
11
Вопросы
 ?
Upcoming SlideShare
Loading in …5
×

РИФ 2016, Боты в помощь контент-менеджеру или как автоматизировать загрузку контента на сайт

102 views

Published on

Валеев Руслан
BabyBrick.ru

Published in: Business
  • Be the first to comment

  • Be the first to like this

РИФ 2016, Боты в помощь контент-менеджеру или как автоматизировать загрузку контента на сайт

  1. 1. 1 Боты в помощь контент-менеджеру BabyBrick.ru Руслан Валеев 14.04.2016
  2. 2. 2 План  Характеристики товара. Как возникла идея применить боты?  Какие есть проблемы с автозагрузкой  Этапы разработки (от php к solr)  Как это работает (архитектура и технологии, включая прокси)  Есть ли экономия?  Как бороться с чужими ботами
  3. 3. 3 Характеристики товара
  4. 4. 4 Проблемы с автозагрузкой  Каждый сайт имеет свою уникальную структуру  Структура сайтов со временем меняется  Сложность поиска товара по названию и артикулу (на других сайтах товар может иметь другой артикул)  Различное написание названий производителей  Цена и наличие зависит от региона (для некоторых магазинов)  Нет списка атрибутов товаров, которые доступны на конкретном сайте  Не всегда удается правильно вычленить нужную характеристику из текста  Фотографии бывают с водяными знаками  Блокировка доступа к сайтам при агрессивном скачивании  Некоторые сайты практически не возможно выкачать (amazon.com)
  5. 5. 5 Допущения и ограничения  Выкачиваем только сайты с “нашими” артикулами и “нашими” названиями производителей  При таком подходе невозможно быть №1 на рынке, но можно быть №2   Необходимо глазами просматривать и вручную подчищать контент
  6. 6. 6 Эволюция разработки  Версия 1 – Выкачивание контента сайта конкурентов с помощью PHP и анализ содержимого – Для каждого товара в базе прописывался URL на товар конкурента, чтобы можно было быстро узнать цену – Помогает только выгрузить характеристики и цену – Обновление контента вручную  Версия 2 – Система ботов на Java с ипользованием системы Nutch+Solr с открытым кодом – Выгрузка характеристик, фото, цен, описаний и пр. – Автоматическое добавление товаров на сайт – Автоматическое обновление характеристик товаров  Версия 3 – Тоже что и версия 2, но перед добавлением и обновлением товаров просматриваем контент глазами
  7. 7. 7 Архитектура
  8. 8. 8 Как бороться с чужими ботами  99% используемых ботов не содержат движок JavaScript  Решение: – Через Javascript выставлять шифрованное cookie – На стороне сервера проверять, есть cookie или нет – Не показывать контент при отсутствии cookie  Что делать с хорошими ботами поисковых систем? – Разрешить доступ на уровне диапазонов IP адресов – Вести базу ботов помеченных флагами “разрешено” или “запрещено” – Если при обращении к контенту бота в базе нет, то по IP адресу сделать reverse DNS и посмотреть доменное имя. Разрешить доступ в случае “правильного” доменного имени и сохранить в базу.  Что делать с оставшимся 1%? Варианты – Ничего не делать – Анализировать как запрашивается контент и если он запрашивается не так как это делает обычный пользователь – в бан
  9. 9. 9 Демо: отчет об отсутствующих атрибутах
  10. 10. 10 Размеры товара
  11. 11. 11 Вопросы  ?

×