Open Source Search: Die Welt von Apache Lucene - WJax 2009

Christian Meder | inovex GmbH
Open Source SearchThe World of Apache Lucene

Agenda
Motivation
Überblick
Lucene
Solr
The world

Motivation

Die Messlatte: Google
Relevante Ergebnisse
Relevante Auszüge in Trefferliste

Schnelle Antwortzeiten
Hohe Verfügbarkeit
Autovervollständigung

Spellchecker
„Meinten Sie“

Umkreissuche

Die Messlatte: Amazon
Relevante Ergebnisse
Schnelle Antwortzeiten
Hohe Verfügbarkeit
Autovervollständigung

Die Messlatte: Amazon
Facetten: Preis, Lieferanten, Verfügbarkeit

Häufige Realität
Wenig relevante Ergebnisse
Feldbasierte Suche

Häufige Realität
Nur einfache exakte Substring Suche

Häufige Realität
Langsame Antwortzeiten
Keine globale Suche über heterogene Datenquellen: Dokumente, Datenbanken, etc.
Wenig Sortierung und Einschränkungsmöglichkeiten (Facetten)

Überblick

Sucharchitektur

Indizierungsarchitektur

Komponenten
Crawler:
Nutch
grub
droids, ...
Extraktoren: tika
Kern: lucene
DB-Integrationen:
Compass
hibernate search, ...
Such-Server: solr

Lucene

Lucene Basics
Nur eine Bibliothek zum Nachschlagen von Informationen
Kern einer Sucharchitektur
Erfordert Grundverständnis und Einarbeitung
Skalierbar
Technisch ausgereift und mächtig
Viele Ports: .Net, C, Python, ...
AOL, Apple, Disney, Eclipse, JIRA, Liferay, E.ON, Monster, wikipedia, ...

Lucene Geschichte
0.01 (2000) Doug Cutting auf Sourceforge
1.2 (2002) Apache Jakarta Projekt
2.0 (2006) Sortieren, Datums- und Zahlenfelder, Bereichsfilter, ...
2.9 (25.9.2009) near realtime search, optimierte Behandlung von Zahlenfeldern, neue Analyzer (Persisch, Chinesisch), ...
2.9.1 (6.11.2009) Bugfix

Lucene: Core Indexing
IndexWriter
Analyzer, Tokenizer, TokenFilter
whitespace
lowercase
standard
stopwords
Porter stemming

Lucene: Core Indexing
Directory
Filesystem, NIOFS, RAM, MMAP
Document
Field
Analyzed
Stored
NumericField

Lucene: Core Searching
IndexSearcher
Term
Query
TermQuery
TopDocs

Lucene: Query syntax
javalinux
+java +linux
title:java
„lucenein action“
java*
java~
date:[11/01/2009 TO 11/10/2009]
price:[20 TO 40]

Solr: Basics
Enterprise Suchserver
Schnittstelle: XML über HTTP
Skalierbar: sharding, Replikation
Administrationsoberfläche
Schema-basiert: numerische Typen, dynamische Felder, ...
Viele konfigurierbare Analyseklassen
Facetten
Dokumentation noch schwierig

Solr: Features
Markierte Treffer (highlighting)
Vorschläge bei Tippfehlern (spellingsuggestions)
Ähnliche Dokumente („More likethis“)
Dismax Query
DataImportHandler: DB, XML, ...
Indexanalyse
Debugging
Explain

Solr: Geschichte
2006 code donation von CNET
1.1: 17.1.2007 aus incubator zu lucene Subprojekt
1.2: 2.6.2007
1.3: 15.9.2008
1.4: 10.11.2009
AOL, CNET, MTV, flug.idealo.de, whitehouse.gov, ...

Solr: Schema Beispiel
<fieldname="city" type="string" indexed="true" stored="true" />
<fieldname="contactPhotoURL" type="string" indexed="false" stored="true" />
<fieldname="priceperhour" type="sfloat" indexed="true" stored="true" />
<fieldname="availabilitydate" type="date" indexed="true" stored="true" />
<fieldname="skills" type="text" indexed="true" stored="true" multiValued="true" />
<fieldname="all_skills" type="text" indexed="true" stored="true" />
<fieldname="all_text" type="text" indexed="true" stored="false" />

<fieldname="lat" type="sdouble" indexed="true" stored="true"/>
<dynamicFieldname="projectskills_*" type="text" indexed="true" stored="true" multiValued="true" />
<copyFieldsource="skills" dest="all_text" />

Solr: 1.4 Features
TermsComponent für Auto-Suggest
DataImportHandler Erweiterungen
Solr Cell: Tika Integration
Mehrfachauswahl bei Facetten
Performance Verbesserungen
Indizierung
Suche
Facetten
Verbesserte Index Replication

Solr: Projektbeispiel

The world

Nutch
Web crawler
Verteilt, parallel
erstellt gerichteten Graphen
Multi-Format (HTML, PDF, Office, ...)
MapReduce, Hadoop
Erweiterbar mit plugins
Baut auf lucene oder solr

Compass
Abbildung von Datenmodellen auf Suche
Spring-Integration
Automatische Spiegelung von ORM in Suche für JPA, hibernate, OpenJPA, ...
Einfache Integration von Lucene-basierter Suche in ORM-basierte Projekte

Vielen Dank.

http://inovex-de.heroku.com	89
http://localhost:3000	72
http://localhost	27
http://www.slideshare.net	7
http://srv-ino3lb01.inovex.de	2

Open Source Search: Die Welt von Apache Lucene - WJax 2009

by inovex GmbH on Nov 17, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

5 Embeds 197

Statistics

Open Source Search: Die Welt von Apache Lucene - WJax 2009 — Presentation Transcript