Microsoft FAST Enterprise Search Technologies Overview

2,203 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,203
On SlideShare
0
From Embeds
0
Number of Embeds
636
Actions
Shares
0
Downloads
23
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Microsoft FAST Enterprise Search Technologies Overview

  1. 1. Поиск создает ценность на любой стадиивозникновения добавленной стоимости Поиск – единственная технология, дающая доступ к любой информацииПоиск должен быть частью информационнойинфраструктуры любого предприятия
  2. 2. Клиентские решения для бизнесов чьи доходы зависят от поискаРешения для сотрудников компаний для увеличения продуктивности
  3. 3. FAST Search FAST Searchfor SharePoint Internet Sites for SharePointSharePoint Server for Internet Sites SharePoint Server FAST Search FAST Search For Internet Business for Internal Applications
  4. 4. Релевантность Персонализация (контент) (контекст) Поисковые приложения
  5. 5. Барьер для пользователя в виде большой формы для ввода запросаВ результате в видите 5 случайных записей из найденных 2461...
  6. 6. Набираем ―3d l‖: подсказки вводаВизуальные лучшие результаты Всплывающие окна с доп. информацией
  7. 7. Поиск продавцов
  8. 8. Поиск магазинов на карте
  9. 9. Если вы интернет-магазин1. Название сайта (которое будет фигурировать на сайте)2. URL магазина3. Ссылку на YML файл магазинаВ YML файле должны обязательно передаваться цены,наличие и стоимости доставки, а так же регион в которыедоставляет магазин. http://www.samsung.com/ru/promo/buy/index.html
  10. 10. Ситуация• Samsung.com поддерживает услуги компании на родных языках для 60 сайтов• Поисковые требования отличаются в каждой стране. Например, поиск «сотовый телефон» в Ю.Корее должен на первом месте показать продукты Omnia, а в США – BlackJack• Положительный опыт использования FAST для поиска в интранетРешение• Samsung создала ТЗ, провела тендер и выбрала FAST for Internet как лучший выбор• Автоматическое завершение слов при вводе запросов, визуальные результаты, оптимизация показа других результатов могут быть настроены для каждой и странROI• Рост производительности поиска по сайтам ―Одной из удивительных особенностей сайта является визуальный поиск. Как• Рост CTR на 20% только пользователи вводят слова для• Визуальный поиск в реальном времени для поиска, в реальном времени выводятся эффективного мерчендайзинга изображения продуктов‖ -- Jang Woo-suk, Engineer, Samsung SDS
  11. 11. Уровни контроля релевантности Кто контролирует Механизм контроля Порядок Приложение сортировки, Пользователь навигация, оценка релевантности Бизнес Продвижение Business Rules менеджер позиции запросов и документов InPerspective™ Администратор ―Rank Profile‖ Core Algorithmic Model Разработчик Алгоритмический «вес»
  12. 12. Свежесть ЗаконченностьАвторство Статистика Качество Расстояние
  13. 13. •Rank-Profile: по умолчанию (интранет)•Authority: •Freshness: •Proximity: •Context: •Body: •Description •URL: •Keywords: •Title: •Rank-Profile: финансовые новости•Authority: •Freshness: •Proximity: •Context: •Body: •Description •URL: •Keywords: •Title:Rank-Profile: A Relevancy Mixing BoardAuthority Freshnes Proximity Descripti Keyword Context: Body: URL: Title:: s: : •Rank-Profile: Wealth Management on s:•Authority: •Freshness: •Proximity: •Context: •Body: •Description •URL: •Keywords: •Title:
  14. 14. Marketing Sales Consulting Procurement Production Research IT Support HR / LegalКонтент
  15. 15. На основе анализа поискового поведения
  16. 16. История кликов• Определяет сортировку результатов поиска по релевантностиПодсказки похожих запросов• Создаются из анализа логовПользовательские метки (tags)• Используются для уточнения запросов и навигацииСистемные метаданные (определения)• Автоматически создаются из индексированного контента для уточнения запросов
  17. 17. ПРОДУКТ КОНЦЕПЦИЯКОМПАНИЯ
  18. 18. Четыре способа управлять контекстом из коробки! Позиция Позиция Ключевые Лучшие & документа в сайта в слова & Визуальные списке списке Синонимы лучшие результатов результатов Для любых определенных групп пользователей
  19. 19. Представление результатов в контексте Ключевые слова и синонимы Разные модели релевантности Визуально лучшие Лучшиерезультаты ипродвижение Позиция сата документа Контекст пользователя: Фильтры в контексте менеджер по пользователя продаже финансовых услуг, Осло, Норвегия
  20. 20. Определениерелевантности на основе ролей Функциональное представление результатов Навигация в соответствии с требованиями бизнеса Руководитель отдела Консультант по продаж ERP внедрению ERP
  21. 21. About Statoil Multinational Energy Company• «Статойл» является интегрированной нефтегазовой компанией с 29,000 сотрудниками и работающая в 40 странах• Общий доход в 2009: 80 миллиардов долл. США. Крупнейшая компания Норвегии.Задача• Новый интранет поиск с ролевой поддержкой пользователей на огромных массивах информации и числе запросов• Обеспечение безопасности, обмена и управления информацией• Миграция данных и обслуживание, интеграция с унаследованными технологиями Результаты с FAST ESPРешение 20TB данных, с ростом на 10TB в год• Совместная работа и информационный обмен через Надежный доступ к огромным объемам организационные и географические границы данных, 24/7, для разных ролей• Аудируемый, простой, правильный и безопасный доступ к пользователей информации с поддержкой ее жизненного цикла, с учетом юридических требований и ролей Комплексный контроль: объем, пользователей пропускная способность, техническое• Содействие эффективному управлению изменениями для обслуживание… широкого признания новой информационной инфраструктуры End user requirements: I love IT!
  22. 22. Продажи:Всесторонний анализданных по клиентам «Как обеспечить поддержкуУслуги: уникальных поисковыхБаза знаний потребностей разных подразделений компании?»Маркетинг:конкурентнаяаналитикаИсследованияи разработки:инновационный порталПоддержка:консультант центраобработки вызововОперации:портал системи логистикиЮридический, кадровый, финансовый или ИТ-отдел…
  23. 23. ДИТ перегружен … и не может начинать (Объявление проектов, 10 бизнес-спонсоровтекущими проектами новые которые может пляшут от радости поддержать ДИТ) Я занят на 10 проектах! Что случится с Проектом №11 и всеми остальными? И что они теперь будут делать?
  24. 24. Спонсор проекта 11 … и начинает Через некоторое Но, т.к. разработка (… 12, 13, 14) использовать время приложение велась без контроля ДИТ, решает задачу решение становится важным есть проблемы с самостоятельно и ДИТ должен безопасностью, его поддерживать интерфесами, интеграцией, Люди в ДИТ отчетностью, полюбят мою масшабируемостью, программу! управляемостью, … «Партизанская» разработка Как мне Директор по Зоопарк платформ избежать этих проблем? разработке Хаотичные затраты Несоответствие стандартам Риски для бизнеса
  25. 25. Базы Поисковыеданных системы
  26. 26. Базы Поисковые данных системы• Записи • Документы• Точность • Похожесть• Транзакции • Рэнкинг• SQL (сложно) • Просто• Медленно • Быстро• Производительность? • Релевантно?
  27. 27. Базы Поисковыеданных системы
  28. 28. Поисковое приложение (Search-based Application – SBA) это приложение , вкотором технологии поиска используется в качестве основной инфраструктурыдля доступа к информации и отчетности.Поисковые приложения используют семантические технологии в сочетании снормализацией и классификацией неструктурированых, частичноструктурированных и / или структурированных данных из различныхисточников, а также с использованием технологии естественного языка длядоступа к агрегированной информации. Wikipedia
  29. 29. 900 100 пользователей800 50 пользоователей700600 20 пользователей500 FAST ORA400300200100 0 20 50 100
  30. 30. Дмитрий Николаев Консультант по управлению капиталом (Wealth Management Advisor) Задача: своевременное и качественное консультирование существующих и потенциальных клиентовПолучает оповещение о росте рисков для некоторых холдингов на рынкенедвижимости Получено через портал, LOB/CRM приложение, почту, etc. В банке есть группа, занимающаяся мониторингом рынков, а также эксперты, разрабатывающие отчеты по портфелям ценных бумагИспользует поисковые возможности портала знаний для понимания своихвозможностей. Например, клиенты и лиды для общения, материалы дляотправки, к кому из экспертов обратиться за помощью Информация из разных источников в структурированном, и неструктурированном виде Много требований и аспектов, которые необходимо соблюсти в интересах каждого клиента Временные ограничения
  31. 31. Ранжирование по задачам Сводные данные по клиенту Поиск людей и экспертизы Визуальная навигация Непосредственноевыполнение действийиз результатов поиска Федеративный Бизнес-отчеты сторонний контент
  32. 32. Индексация различных источников OOB шлюзы к SharePoint (отчеты, документы), exchange public folders, общие файлы; BDC с настройкой в SPD (без кодирования) для портфеля клиента/компаний в холдингахОбработка контента: создание метаданных Имена в холдингах, термины, компании, люди Синонимы (real estate ~ REIT)Готовые (OOB) веб части Federation, People Search, Search actionsПользовательские веб-части для визуальной навигацииГруппировка результатов – OOBПользовательские профили релевантностиSharePoint процессы для действий с результатами
  33. 33. OOB = из коробки OOB веб части (9) OOB Федерация и поиск Intelligent Web CrawlerРасширенные веб-части людей(4) OOB шлюзы к SharePoint; Пользовательские веб- файлам; CMS системам части (2) Контент Обра- ботка контентаЦентр поиска Профили пользователей OOB присутствие & чат Настраивается для этого Шлюз к LOB – приложения приложениям Пользовательские конфигурируемый через процессы SharPoint Метаданные для проектов, SharePoint Designer Drag & Drop PPT людей, терминов, конструктор таксономий,…
  34. 34. Средство Средство Средство Средство сопоставления поиска дубликатов извлечения Средство преобразования свойств сущностей лемматизации форматов … Средство анализа Нормализатор Средство Средство веб-трафика даты и времени разбиения слов определения языкаПреобразование Добавление или Глобальноеконтента расширение этапов использованиеобеспечивает для проведения поиска с функцияминормализацию и очистку дубликатов, выполнения лингвистическойинформации перевода или других обработки для 45 языков бизнес-функций и возможностями обработки распознавания контента на более чем 80 языках
  35. 35. Последовательность шагов по преобразованию содержимого Разделение контента на элементарные блоки для выделения смысла Понимает кодировки файлов, форматы данных и обычные языки Поддерживает 400+ форматов файлов и 80+ языков, включая русскийОбработка контента для улучшения поиска Нормализация содержимого для применения модели релевантности Идентификация структурированных и неструктурированных метаданных Назначение метаданных к свойствам SharePoint Crawler FormatEntity Extraction Lemmatization Language Document Tokenization Mapand Link Crawled Date WebTime Преобразуетсоответствие для языка документа, Применяет языкметаданные, стандартныйвв текст. для Анализирует различные форматы файлов Определяетспецифичные выбранномправилаПонимает на и Отображает все и кодировку которые были содержимом Конвертируетгиперссылки между термином формат Находит корень словавремя в документа. Обеспечивает Создает уникальное представление языке. для даты и на в тексте документа,найдены извлекает Conversion Encoding and Vector Properties Normalization Analysis предопределенной категорией идеомдля языка. Люди, грамматикулокальных понятий, Поддерживаются применениеи контекст,форматов. базуи фраз.определяет тексты ссылок, слов, специфичную идентификации которые термины иНапример,на следующих различных стадиях на поисковую и правил обработки правильныхучитываются при определении включающее значимые словарей частоту их Detection Организации и Местонахождения, года. похожих бег бежит Например установит соответствие может быть расширено Дополнительно это 14 марта 2010 между бежать, стадиях. упоминания. Используется для поиска что 14.03.2010 документа специфические разделители релевантности применяет Вами. к единственной лемме. документов. для телефонных номеров, чисел, стоимостей и т.д.
  36. 36. Добавление логики при обработке контента Вы можете описать свою логику, которая будет получать данные (характеристики документа) из конвейера и после обработки возвращать результаты в поисковый индексСпециализированная индексация Выполнение в «песочнице»Pipeline Extensibility – специальная стадия. Вашему Исполняемый код и временные файлыприложению передаются характеристики в ограничиваются по time-out.качестве исходных данных, а результаты его Стадия вызывается непосредственно передработы возвращаются в поисковый индекс Определением соответствия между индексируемыми полями и полями индекса
  37. 37. Решения партнеров Способ добавления логики в процесс индексации … Например, семантико- синтаксический поиск с расширением от ABBYY
  38. 38. Поисковые вопросы на естественном русском языке Мониторинг компании, персоналий и их деятельности, извлечение знаний, взаимосвязей, сбор фактов и сведений Кластеризация, классификация и фильтрация, в том числе определение «похожих» документов по смыслу Аннотирование и реферирование документов, в том числе оперативное построение аналитических отчетов на основе различных данных
  39. 39. Снятие • «пила»<глагол> илиморфологической «пила»<существительное> и т.п. омонимии • «банка» <сосуд> или «банка» Поиск по смыслу <финансовая организация> Поиск с учетом • подстановка объекта местоимением анафор Выделение в • "Покупка" [Object:*] - вернет, то чторезультатах поиска покупают аргументов
  40. 40. Богатые Быстрая возможностикастомизация платформыУправляемые Развивающаяся приложения экосистема
  41. 41. «In the e-discovery market, everything revolves around search, and we depend on FAST as a criticalcomponent of our Online Review Application». “Applied Discovery has some unique processing requirements, so the ability to create custom operators inCTS is invaluable.” Bill Pieser, CTO, Applied Discovery
  42. 42. 58
  43. 43. Безопасный Корректное Безопасность поисковый представление документов механизм результатов поискаМногие источники поддерживают настройкибезопасности на уровне документа: ACLsуправляют правами доступаFAST Smart Connectors + Security Access Moduleсинхронизируют эти права в индексеПользователь видит только результаты, ккоторым у него есть доступ на чтение и выше Включая списки результатов и навигаторы
  44. 44. Интранет Большинство FASTбезопасность FAST Content Connectors ESP для контроля Интеграция с IIS/Active поддерживаютдоступа на уровне Directory безопасность на пользователей и уровне документов с документов SAM Интеграция с Подключаемый механизм внешней модуль с интерфейсом авторизации при для других источников индексирование авторизации контента и при обработка запросов
  45. 45. Интерфейс поиска Обычная проверка подлинности пользователя FAST Security Access Module (SAM) Пользователи / User группы API Monitor Directory-ACLDirectory Server сопоставление API ACL(например,AD) Monitor Добавить ACL Фильтрация к документу доступа Извлечение (1) данных Индекс Документы - Шлюзы Обработка документов (2) - APIХранилища FAST ESP: обработка и индексация контента Q/R обработка контента (1) Добавить фильтр доступа к запросу (2) Факультативная проверка
  46. 46. Из коробки Разработка поисковых приложений• Поиск по интранет и • eCommerce и медиа-сайты интернет сайтам • Маркетинг и инновации –• Управление знаниями R&D, анализ поведения• Ролевой контекст клиентов, отзывы по продуктам, мониторинг конкурентов • Соответствие требованиям, управление рисками • Продажи и поддержка • Мониторинг, наблюдение и реагирование • Интеграция и отчетность в реальном времени • …
  47. 47. Обнаружение и типизация информационных источниковвнутри организацииРазработка глоссария и таксономии корпоративных знанийВнедрение FAST Enterprise Search for SharePoint / Internet SitesИнтеграция поисковых технологий с корпоративнымиприложениямиОбучение пользователей
  48. 48. Решаемые задачи: Классификация контента для модели доступа сотрудников к информации Корпоративный тезаурус (словарь терминов и отношений) Корпоративная библиотека знаний Учебные материалы Базы знаний для поддержки клиентов… http://devbusiness.ru/index.html
  49. 49. 66
  50. 50. 67
  51. 51. Бизнес анализ • SQL Server BI, SharePoint (web & BI), Silverlight, Google Analytics, OmnitureНовыемодальности для Анализ контента ивзаимодействия с поведенияпользователем пользователей • SharePoint, FAST Search• Speech Server, Silverlight, FAST Search, CCF, TagСоциальные сети имобильные Динамическаяустройства навигация• FAST Search, Windows • FAST Search Phone, SharePoint Подсказки и Источник: Microsoft рекомендации IDC: ―Next-Generation Site Search: Redefining • FAST Search Relevance for a Personalized Era‖, 12/2010
  52. 52. >1000 глобальных компаний используют FAST для критических бизнес-задач +316% рост 150% роста трафика Модель СМИ нового поколения Огромный рост трафика Контекстный поиск Социальные вычисления >$1.5B MSFT+SAP+FAST >$25B online Только FAST...Web2.0 сделан на поиске One-Stop Разгрузка баз данных портал знаний
  53. 53. 65-75% внедрений FAST включают структурированные источники данных
  54. 54. «Магический квадрант»Gartner для технологийдоступа к информации,2009 г.Схема «магический квадрант» (Magic Quadrant) защищена авторским правом в сентябре 2009года компанией Gartner, Inc. и повторно используется с ее разрешения. «Магическийквадрант» — это графическое представление рынка за определенный период времени. Поопределению компании Gartner, он отражает ее аналитические результаты оценкиопределенных поставщиков по критериям данного рынка. Компания Gartner не рекламируетотдельных поставщиков, продукты или услуги, изображенные на схеме «магическийквадрант», и не рекомендует пользователям технологий выбирать только поставщиков,расположенных в квадранте «Лидеры». «Магический квадрант» предназначен исключительнодля исследований и не является конкретным руководством к действию. Компания Gartner непредоставляет никаких гарантий, явных или подразумеваемых, в отношении данногоисследования, в том числе гарантий пригодности для продажи или соответствияопределенным целям. Схема «магический квадрант» опубликована компанией Gartner какчасть более крупной исследовательской работы и должна оцениваться в контексте всегоотчета. Отчет компании Gartner доступен по запросу в корпорацию Майкрософт.ИСТОЧНИК: Компания Gartner, Inc., «Магический квадрант для технологий доступа к информации»
  55. 55. Поиск помогает вашим клиентам найти точто им нужно Поиск помогает вашим сотрудникам быть более продуктивнымиПоисковые приложения повышаютрелевантность на основе персонализации
  56. 56. Поиск создает ценность на любой стадиивозникновения добавленной стоимости Поиск – единственная технология, дающая доступ к любой информацииПоиск должен быть частью информационнойинфраструктуры любого предприятия
  57. 57. Лидирующая технология: релевантность,персонализация, поисковые приложения Адапатируемая и масштабируемая платформа для управления информациейЕдиный безопасный механизм доступа кинформации, включая интеграцию, поиск и BI
  58. 58. © 2011, Mikhail Kozlov. All rights reserved. Microsoft, Windows, Windows Vista and other product names are or may be registered trademarks and/or trademarks in the U.S. and/or other countries. The information herein is for informational purposes only and represents the current view of Mikhail Kozlov as of the date of this presentation. Because presenter must respond to changing market conditions, itshould not be interpreted to be a commitment on the part of Mikhail Kozlov and/or any third party, and Mikhail Kozlov cannot guarantee the accuracy of any information provided after the date of this presentation. MIKHAIL KOZLOV MAKES NO WARRANTIES, EXPRESS, IMPLIED OR STATUTORY, AS TO THE INFORMATION IN THIS PRESENTATION.
  59. 59. 2009 Developer Award Outstanding Achievement in for Enterprise Search Website Development2008 Property Portal Award 2008 Creating Business Value With Technology Innovation 2008 Hispanic Retail 2007 Top 75 Electronics Excellence Award Distributors, Rank #1 ArrowElectronics
  60. 60. ANZ Banking Group Среди 50 топ банков мира• Является одной из крупнейших компаний в Австралии и Новой Зеландии, которая входит в число 50 крупнейших банков в мире.• Всемирная штаб-квартира находится в Мельбурне, где она впервые открыла свое отделение, как Bank of Australasia в 1830х.Задача• Прошлая поисковая система не давала точные результаты поиска.• Клиенты не могли легко найти информацию о продуктах и услугах• Ограниченные возможности масштабирования Результаты с FAST ESP Повышение удовлетворенностиРешение пользователей результами поиска• Способность адаптироваться и тонкой Улучшенные результаты поиска для настройки результатов поиска внутреннего использования• Быстрое внедрение контента
  61. 61. «With our 2010 products scheduled for release ina few months, we’ve just started to plan for ournext wave of products. As a part of that planningprocess, we have decided that in order to delivermore innovation per release in the future, the2010 products will be the last to include a searchcore that runs on Linux and UNIX.» Bjørn Olstad CTO, FAST Distinguished Engineer, Microsoft 80

×