Federated Search Een overzicht door Frank Hofstede (fhofstede@searchexpertisecentrum.nl)

 1995 afgestudeerd DB, SE, DC, KT / AI 1 e 2 jaar gestructureerde gegevens Intelligent Market Monitor Daarna 2 jaar ongestructureerd Multi Lingual Semantic Network PL ESE implementaties Convera Retrievalware

1995 afgestudeerd DB, SE, DC, KT / AI

1 e 2 jaar gestructureerde gegevens

Intelligent Market Monitor

Daarna 2 jaar ongestructureerd

Multi Lingual Semantic Network

PL ESE implementaties

Convera Retrievalware

 Beloften v.s. Techniek Suboptimale oplossingen Oprichting SEC (2000) Beste ESE, beste UI, alle bronnen, etc. 8 jaar advisering F500 + NFP Spinoffs: IntelliGent BV DigiSaurus BV i.o.

Beloften v.s. Techniek

Suboptimale oplossingen

Oprichting SEC (2000)

Beste ESE, beste UI, alle bronnen, etc.

8 jaar advisering F500 + NFP

Spinoffs:

IntelliGent BV

DigiSaurus BV i.o.

 Knowledge gathering, storage and distribution?

Knowledge gathering, storage and distribution?

 Regular Push Mailing lists / RSS feeds / Blogs / Subscriptions !! User can’t read it all , information overload Regular Pull Portals / Search engines !! User has to know and take initiative Sixth (information) Sense Total Federated Search (Google on steroids) Adaptive workplace Just-in-time information retrieval

Regular Push

Mailing lists / RSS feeds / Blogs / Subscriptions

!! User can’t read it all , information overload

Regular Pull

Portals / Search engines

!! User has to know and take initiative

Sixth (information) Sense

Total Federated Search (Google on steroids)

Adaptive workplace

Just-in-time information retrieval

 Google als voorbeeld Veel bronnen / veel werk Onbekendheid bestaan bronnen Diverse Query talen en navigatiestructuren … .? Gartner: YE08 Federation in > 50% projecten Federator staat strategisch centraal ‘ Excelling is no simple task for any vendor’

Google als voorbeeld

Veel bronnen / veel werk

Onbekendheid bestaan bronnen

Diverse Query talen en navigatiestructuren

… .?

Gartner: YE08 Federation in > 50% projecten

Federator staat strategisch centraal

‘ Excelling is no simple task for any vendor’

 Easily connect all sources of information the user uses, could want to use or wants to use Preprocess the query using domain knowledge and statistics Automatically dispatch the query to all the right sources (Censor the query if the source untrusted) Handle login, navigation and query translation / formulation for each source automatically Gather all results and keep only the best and relevant ones

Easily connect all sources of information the user uses, could want to use or wants to use

Preprocess the query using domain knowledge and statistics

Automatically dispatch the query to all the right sources (Censor the query if the source untrusted)

Handle login, navigation and query translation / formulation for each source automatically

Gather all results and keep only the best and relevant ones



 Eigenlijk altijd pluriform Alle aanbieders vechten om UI maar volgens SEC niet doen!  WS Interface belangrijker dan GUI

Eigenlijk altijd pluriform

Alle aanbieders vechten om UI maar volgens SEC niet doen!

 WS Interface belangrijker dan GUI

 HTML Door opmaak aan verandering onderhevig XML Al stuk beter maar steeds wiel uitvinden Webservice / SRW Mooie standaard maar niet futureproof Broker2Broker Werkt momenteel allen binnen 1 ‘merk’

HTML

Door opmaak aan verandering onderhevig

XML

Al stuk beter maar steeds wiel uitvinden

Webservice / SRW

Mooie standaard maar niet futureproof

Broker2Broker

Werkt momenteel allen binnen 1 ‘merk’

 Uitbesteden Bepaalde en beperkte stabiele set bronnen Heel veel of sterk veranderende bronnen Géén interne content Zelf doen Meerdere (E)CA Interne content

Uitbesteden

Bepaalde en beperkte stabiele set bronnen

Heel veel of sterk veranderende bronnen

Géén interne content

Zelf doen

Meerdere (E)CA

Interne content

 Tool?  SE? CE? Aquabrowser Meresco Etc. Dienst?  Index? Thesaurus? EBSCO Etc.

Tool?  SE? CE?

Aquabrowser

Meresco

Etc.

Dienst?  Index? Thesaurus?

EBSCO

Etc.

 SSL Thuiswerkers IP restricties Limited access times Contractuele restricties Named users … ?

SSL

Thuiswerkers

IP restricties

Limited access times

Contractuele restricties

Named users

… ?

 GUI Snelheid / Beschikbaarheid Taal / Query language Metadata normalisatie Ranking / precision / recall Toevoegen nieuwe bronnen

GUI

Snelheid / Beschikbaarheid

Taal / Query language

Metadata normalisatie

Ranking / precision / recall

Toevoegen nieuwe bronnen

 Flexibel! Nieuwe bronnen worden steeds toegevoegd met steeds andere facetten / content Maar.. Content in Context! Probeer het aangeklikte resultaat in de ‘originele’ omgeving te tonen.

Flexibel!

Nieuwe bronnen worden steeds toegevoegd met steeds andere facetten / content

Maar.. Content in Context!

Probeer het aangeklikte resultaat in de ‘originele’ omgeving te tonen.

 Snelheid Niet elke bron reageert even snel.. Beschikbaarheid of zowieso Of de koppeling werkt niet meer

Snelheid

Niet elke bron reageert even snel..

Beschikbaarheid

of zowieso

Of de koppeling werkt niet meer

 Taal / talen Synoniemenlijst MT Thesauri ML Semantisch Netwerk Querytime vs Indextime Query Language CQL / mapping Gartner: YE12 > 75% installaties user in query

Taal / talen

Synoniemenlijst

MT Thesauri

ML Semantisch Netwerk

Querytime vs Indextime

Query Language

CQL / mapping

Gartner: YE12 > 75% installaties user in query

 Metadata mappen / maken

Metadata mappen / maken

 Normalisatie Niet altijd mogelijk Result reindexing Kan heel zwaar zijn Thesaurusgebruik Wij gebruiken hem wel, maar zij? Gartner: Multistage relevancy YE08 > 75% strategische IAT call API at Query Time

Normalisatie

Niet altijd mogelijk

Result reindexing

Kan heel zwaar zijn

Thesaurusgebruik

Wij gebruiken hem wel, maar zij?

Gartner: Multistage relevancy

YE08 > 75% strategische IAT call API at Query Time

 vb: Kapow Mashup Server Interactief zonder programmeren bronnen toevoegen? Inventariseren Van elke gewenste bron mogelijkheden en beperkingen vastleggen Staging Iedere bron doorloopt staging proces zo ver mogelijk (HTML Scraping  Zelf indexeren)

vb: Kapow Mashup Server

Interactief zonder programmeren bronnen toevoegen?

Inventariseren

Van elke gewenste bron mogelijkheden en beperkingen vastleggen

Staging

Iedere bron doorloopt staging proces zo ver mogelijk (HTML Scraping  Zelf indexeren)



How To beat Google

 Al lang heel erg gelukkig als de query bij alle bronnen komt en uit alle bronnen de resultaten getoond kunnen worden Metadata mapping, Faceted search over bronnen en Ranking normalisatie zijn al bijna rocket science

Al lang heel erg gelukkig als de query bij alle bronnen komt en uit alle bronnen de resultaten getoond kunnen worden

Metadata mapping, Faceted search over bronnen en Ranking normalisatie zijn al bijna rocket science

 Personalization Also observe the behavior and information the user is working on / with Generate a personalized query based on the context of the user and a ‘profile of interest’ Use implicit feedback mechanisms to fine-tune the users ‘profile of interest’ Gartner: YE12 > 75% installaties user in query Meer variabelen  Nauwkeuriger Spectrum van gestructureerd tot ongestructureerd ‘ Smart’ federation

Personalization

Also observe the behavior and information the user is working on / with

Generate a personalized query based on the context of the user and a ‘profile of interest’

Use implicit feedback mechanisms to fine-tune the users ‘profile of interest’

Gartner: YE12 > 75% installaties user in query

Meer variabelen  Nauwkeuriger

Spectrum van gestructureerd tot ongestructureerd

‘ Smart’ federation

 

 Vragen?

Vragen?