This document summarizes a presentation about an enterprise search implementation at EPAM. It discusses deploying connectors to integrate over 100 systems, tuning the relevancy model through query logs and user feedback, and efforts to educate departments on search best practices like basic SEO. Manual tuning techniques included authoritative pages, query rules, synonyms, and the new Query Builder tool in SharePoint 2013.
The document discusses enterprise search portals and search in SharePoint 2013. It provides an overview of key changes to search in SharePoint 2013 compared to 2010, including changes to the ranking model. The document also discusses search governance best practices such as search analytics, fine-tuning search through query rules and ranking models, regular testing, and promoting search usage within an organization.
Конференция Cybermarketing 2015: Яндекс.Метрика или как «большой брат» следит...Cybermarketing, Moscow
Распространение сервисов статистики от поисковых систем в рунете.
Сбор и анализ информации. Индексация.
Факторы, вероятно, используемые для ранжирования: поведение пользователей выявление аудитории проекта: срезы хостовые метрики технические показатели
Работа с данными счетчика для SEO-специалиста: настройка контрольные срезы и выгрузки вычисление KPI работ по SEO корректировки оптимизации сайта
Рекомендации и выводы.
This document summarizes a presentation about an enterprise search implementation at EPAM. It discusses deploying connectors to integrate over 100 systems, tuning the relevancy model through query logs and user feedback, and efforts to educate departments on search best practices like basic SEO. Manual tuning techniques included authoritative pages, query rules, synonyms, and the new Query Builder tool in SharePoint 2013.
The document discusses enterprise search portals and search in SharePoint 2013. It provides an overview of key changes to search in SharePoint 2013 compared to 2010, including changes to the ranking model. The document also discusses search governance best practices such as search analytics, fine-tuning search through query rules and ranking models, regular testing, and promoting search usage within an organization.
Конференция Cybermarketing 2015: Яндекс.Метрика или как «большой брат» следит...Cybermarketing, Moscow
Распространение сервисов статистики от поисковых систем в рунете.
Сбор и анализ информации. Индексация.
Факторы, вероятно, используемые для ранжирования: поведение пользователей выявление аудитории проекта: срезы хостовые метрики технические показатели
Работа с данными счетчика для SEO-специалиста: настройка контрольные срезы и выгрузки вычисление KPI работ по SEO корректировки оптимизации сайта
Рекомендации и выводы.
Анализ конкурентов (интернет-маркетинг для b2b)Комплето
Цикл мастер-классов на Seopult.tv от Комплето.
Видеозапись здесь: http://www.youtube.com/watch?v=6eRulxNUzjQ
Занятие #2 Интернет-маркетинг для b2b: анализ конкурентов.
— Как определить, кто ваши конкуренты;
— Как проводить анализ позиционирования конкурентов;
— Как проанализировать уровень сервиса конкурентов методом «тайный покупатель»;
— Как следить за изменениями на сайтах конкурентов;
— Как подвести итоги конкурентного анализа;
Яндекс.Метрика и факторы для SEO-специалиста (Cybermarketing-2015). Севальнев...Дмитрий Севальнев
Подробней: http://www.pixelplus.ru/samostoyatelno/
Тезисы:
1. Распространение сервисов статистики от поисковых систем в рунете.
2. Сбор и анализ информации. Индексация.
3. Факторы, вероятно, используемые для ранжирования:
- поведение пользователей
- выявление аудитории проекта: срезы
- хостовые метрики
- технические показатели
4. Работа с данными счетчика для SEO-специалиста:
- настройка
- контрольные срезы и выгрузки
- вычисление KPI работ по SEO
- корректировки оптимизации сайта
5. Рекомендации и выводы.
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Владимир Лучанинов. Сделай сам анализатор SERPOctopus Events
1. Вопросы при аналитике SERP.
2. Существующие решения: SaaS, self-hosted, Desktop.
3. Создание системы аналитики под себя из Netpeak Checker, Google Sheets и Google Data Studio.
How to assess the company's readiness to intelligent automation of office pro...Alexandre Prozoroff
How to assess the company's readiness to intelligent automation of office processes?
Как оценить готовность компании к роботизации офисных процессов?
http://cybersyn.ch/office
Техническая оптимизация. Что топит ваш сайт в выдаче Google? // Online Advert...Дмитрий Севальнев
Подробней: http://www.pixelplus.ru/samostoyatelno/
1. Техническая оптимизация: что это и какова её значимость в работе?
2. Базовые требования к сайту:
- выбор CMS
- продвигаемые страницы
- остальные документы
3. Как проверить свой сайт на соответствие требованиям?
- основные программы
- работа с Google Webmaster Tool
4. Устранение основных ошибок на сайте.
5. Отслеживание результатов.
6. Проверка работы подрядчика по SEO.
Анализ конкурентов (интернет-маркетинг для b2b)Комплето
Цикл мастер-классов на Seopult.tv от Комплето.
Видеозапись здесь: http://www.youtube.com/watch?v=6eRulxNUzjQ
Занятие #2 Интернет-маркетинг для b2b: анализ конкурентов.
— Как определить, кто ваши конкуренты;
— Как проводить анализ позиционирования конкурентов;
— Как проанализировать уровень сервиса конкурентов методом «тайный покупатель»;
— Как следить за изменениями на сайтах конкурентов;
— Как подвести итоги конкурентного анализа;
Яндекс.Метрика и факторы для SEO-специалиста (Cybermarketing-2015). Севальнев...Дмитрий Севальнев
Подробней: http://www.pixelplus.ru/samostoyatelno/
Тезисы:
1. Распространение сервисов статистики от поисковых систем в рунете.
2. Сбор и анализ информации. Индексация.
3. Факторы, вероятно, используемые для ранжирования:
- поведение пользователей
- выявление аудитории проекта: срезы
- хостовые метрики
- технические показатели
4. Работа с данными счетчика для SEO-специалиста:
- настройка
- контрольные срезы и выгрузки
- вычисление KPI работ по SEO
- корректировки оптимизации сайта
5. Рекомендации и выводы.
- Как начать развивать систему аналитики в компании, не имея армию data-инженеров.
- Как перейти из состояния «я не понимаю какие квадратики на этой схеме нужны для моих задач» и при этом не уйти в R&D на несколько месяцев.
- Как реализовать потоковую обработку данных на PHP (~40К записей в минуту).
- Какие технические решения применяли в нашем решении и какие факторы учитывали в принятии решений.
Презентация с мероприятия https://habr.com/ru/company/tuturu/blog/426059/
Владимир Лучанинов. Сделай сам анализатор SERPOctopus Events
1. Вопросы при аналитике SERP.
2. Существующие решения: SaaS, self-hosted, Desktop.
3. Создание системы аналитики под себя из Netpeak Checker, Google Sheets и Google Data Studio.
How to assess the company's readiness to intelligent automation of office pro...Alexandre Prozoroff
How to assess the company's readiness to intelligent automation of office processes?
Как оценить готовность компании к роботизации офисных процессов?
http://cybersyn.ch/office
Техническая оптимизация. Что топит ваш сайт в выдаче Google? // Online Advert...Дмитрий Севальнев
Подробней: http://www.pixelplus.ru/samostoyatelno/
1. Техническая оптимизация: что это и какова её значимость в работе?
2. Базовые требования к сайту:
- выбор CMS
- продвигаемые страницы
- остальные документы
3. Как проверить свой сайт на соответствие требованиям?
- основные программы
- работа с Google Webmaster Tool
4. Устранение основных ошибок на сайте.
5. Отслеживание результатов.
6. Проверка работы подрядчика по SEO.
4. О чем будем говорить
• Корпоративный поисковый портал
• Как «работает» поиск в SP2013
• Ключевые изменения
• Магия – расчет релевантности
• Полезные практики
4
5. Типичные сценарии
поиска
• Я знаю что я ищу и я знаю где это найти
• Я знаю что я ищу, но НЕ знаю где это найти
• Я НЕ знаю что я ищу
5
http://aghy.hu/AghyBlog_EN/Lists/Posts/Post.aspx?ID=199
6. • Предпосылки:
• Компания растет
• Зоопарк из систем
• Решение:
• поисковый портал, «маленький гугл»
• Быстрая бизнес польза от внедрения:
• Единая точка поиска информации
• Сокращение времени на поиск информации
• Улучшение климата внутри компании
6
Поисковый портал
7. Но после внедрения…
• «Поиск плохо ищет»
• Из коробки поиск ничего не знает про вас
• «Но…
• … Microsoft позаботились о хорошем алгоритме»
• … мы не уверены что сделаем лучше»
• ... нам не нужен поиск, у нас все знают что где лежит»
• … сделайте нам как в ГуглБинг»
7
8. Почему это сложно
• Неоднозначные короткие запросы
• Разнородный неоптимизированный контент
• Разная терминология составителей и
потребителей контента
• Ограниченность ресурсов, в то время как в
интернет-поисковиках
• Ручное и автоматическое измерение качества
(асессоры)
• Постоянное улучшение
8
10. Поиск - двухфазный
процесс
• Матчинг – все документы с ключ.словами
• Лингвистика: стемминг, фонетика
• Синонимы
• Ранжирование
• «Фичи»
• TF-IDF, BM25
• Вес полей
• Тип файла
• Дата изменения
• Популярность
• …
10
12. Ранжирование в FAST
• Вклад отдельных компонент в результат
12
0
1000
2000
3000
4000
5000
6000
7000
8000
1st 2nd 3rd 4th
term:fast term:search freshness static rank proximity
15. Ранжирование в SP2013
• Основная модель релевантности
• Две последовательные нейронные сети
• Дата документа не учитывается
• Фичи
15
Type Instance
BM25 BM25
Static UrlDepth
BucketedStatic InternalFileType
BucketedStatic Language
Static ClickDistance
Static QueryLogClicks
Static QueryLogSkips
Static LastClicks
Static EventRate
MinSpan - soft Title
MinSpan - soft Title
MinSpan - soft Title
MinSpan - soft Content
22. 1. Поисковая аналитика
• Стандартно в SP2013
• Наиболее популярные запросы
• «Неудачные» запросы
• Сторонние системы (Google Analytics, Omniture,
WebTrends)
• Измерение качества поиска
• % кликов на результаты
• на какие результаты
• обратные переходы
• Анализ сессии
• Сегментация запросов
22
24. 2. Тонкая настройка
• Authoritative Pages
• Быстрая выгода – приоритет источников контент
• Query Rules
• Поиск становится умным в глазах пользователей
• Synonyms
• Отдельный маппинг файл
• Только экспансия
• Синонимы термсетов не работают
• Модели релевантности
24
25. Authoritative Pages
• Влияет на ClickDistance
• ClickDistance, UrlDepth имеют сильное влияние
на итоговую релевантность
• Конфигурируются в CA, CSOM
25
26. Query Rules (Rule +
Action)
• Основной инструмент имитации разума
• Интерактивная реакция на запросы
• Пост обработка запроса
• Навигационные ключевые слова
• …
26
27. Условия для Query
Rules
• Query Matches Keyword Exactly
• Advanced Query Text Match
• Query Matches Dictionary Exactly
• Query Contains Action Term
• Query More Common in Source
• Result Type Commonly Clicked
27
28. Действия для Query
Rules
• Create and display a result block
• Change ranked search results
• Best Bets
• XRANK
• Работает аддитивно
• Не отображается в rankdetail
• Правильный выбор веса?
28
29. Шаблоны для
QueryRules
• Типичные комбинации из нашего портала
• Software, soft, download, install
• How to
• Policy, Blog
• Portal
• Music, Video
• Presentation, Documents, Report
• Training, tutorial
• Book, ebook
• У вас будут другие!
29
38. Понимать естественный
язык
• В общем виде задача не решается
• Аналитика + кропотливая работа
• см выше набор практик
• NLP – question answering
• Rocket science
• English only
• Part of speech tagging, dependency parsing
• Stanford NLP, Open NLP, IR
38
39. «Литература»
• Patents - http://goo.gl/20sbR
• Explain Rank page - http://goo.gl/o3ZmN
• How SP2013 relevancy models works - http://goo.gl/arf0P
• MS Enterprise Search approach - http://goo.gl/x8SDO
• Customizing ranking models in SP 2013 - http://goo.gl/lBJAp
39
40. 22 мая 2013, Киев
Спасибо за внимание
Skype: Alexey_Kozhemiakin
Email: Alexey.Kozhemiakin@gmail.com
Blog: http://powersearching.wordpress.com
40