Your SlideShare is downloading. ×
Wie gut sind Google und Co.?
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×

Saving this for later?

Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime - even offline.

Text the download link to your phone

Standard text messaging rates apply

Wie gut sind Google und Co.?

320
views

Published on

Published in: Technology

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
320
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
4
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Wie gut sind eigentlich Google und Co.?Prof. Dr. Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg, Department Informationdirk.lewandowski@haw-hamburg.deKöthen, 24. Juni 2011
  • 2. Kurzvorstellung •  Prof. Dr. Dirk Lewandowski •  Professor für Information Research & Information Retrieval an der Hochschule für Angewandte Wissenschaften Hamburg (HAW) •  Forschung vor allem zur Qualität von Suchmaschinen, Nutzerverhalten, Query Understanding1 |
  • 3. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit2 | Dirk Lewandowski
  • 4. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit3 | Dirk Lewandowski
  • 5. Mission Statement  Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten.4 | Dirk Lewandowski
  • 6. Aktuelle Projekte im Bereich Suche •  Forschungsprojekte •  Qualität von Web-Suchmaschinen (laufend bis 2011) •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) •  Query Understanding (seit 2010) •  Search Experience (ab 2011)5 | Dirk Lewandowski
  • 7. Methoden Logfile-Analyse Heuristische Relevanztest Evaluation Search Online-Umfrage Usability-Test Eye-Tracking Physiologische Untersuchung6 |
  • 8. Aktuelle Projekte (mit Studierenden) im Bereich Suche •  Lehrprojekte –  Verbesserung der Musiksuche (WS2010/11; Projektpartner Musicload) –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10, Projektpartner Deutsche Telekom) –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08, Projektpartner Lycos Europe) •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) •  Produktsuche (mit Otto) •  Universal-Search-Konzept für die T-Online-Portalsuche7 | Dirk Lewandowski
  • 9. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit8 | Dirk Lewandowski
  • 10. Web search: „Always different, always the same“ AltaVista 19969 | http://web.archive.org/web/19961023234631/http://altavista.digital.com/
  • 11. •  x10 |
  • 12. x11 |
  • 13. Anzeigen Nachrichten Bilder x Videos Blogbeiträge12 |
  • 14. Übertragbarkeit der Universal Search – Beispiel T-Online Portalsuche13 | Dirk Lewandowski
  • 15. Ergebnisselektion •  Ergebnisselektion abhängig von •  Position des Treffers •  Vorkommen des Treffers im „sichtbaren Bereich“ •  Darstellung/Hervorhebung des Treffers, Trefferbeschreibung •  Einblendung in Vorschlägen während der Eingabe14 |
  • 16. x15 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
  • 17. x16 | Dirk Lewandowski
  • 18. x17 | Dirk Lewandowski
  • 19. Eye-Tracking •  x18 |
  • 20. Fixationen bei kartenbasierter Darstellung – Beispiel T-Online19 | Dirk Lewandowski
  • 21. x20 |
  • 22. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit21 | Dirk Lewandowski
  • 23. Hätten Sie‘s verstanden? •  vatikan •  frauentausch •  stockbrot •  seelenfarben •  bmw •  berliner bank •  fußball •  osterei •  drehscheibe •  wgt22 | Dirk Lewandowski
  • 24. •  x23 | Dirk Lewandowski
  • 25. •  x24 | Dirk Lewandowski
  • 26. •  x25 | Dirk Lewandowski
  • 27. Die Suchintention kann sich verändern26 | Dirk Lewandowski
  • 28. Die Suchintention kann sich verändern27 | Dirk Lewandowski
  • 29. Was kann man aus einer Suchanfrage herauslesen? •  Genre (Bsp. Nachrichten) •  Thema (grob) •  Intention (informationsorientiert, navigationsorientiert, transaktionsorientiert) •  Ziel (Aktion oder Ressource) •  Spezifität (Bsp. „Mindestlohn“) •  Bandbreite/Mehrdeutigkeit (Ergebnisse ausdifferenzieren) •  Autoritätsbezug •  Ortsbezug •  Zeitbezug (explizit; implizit; aus dem Suchanfrage-Volumen)28 | Dirk Lewandowski (nach Calderon-Benavides et al. 2010)
  • 30. Suchanfragen im Kontext29 |
  • 31. Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Daimler Chrysler“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.30 |
  • 32. Anwendungsfälle: Konkreter vs. problemorientierter Informationsbedarf Anwendungsfall Konkret Problemorientiert Websuche Ebay-Homepage Informationen über die neue Sherlock-Holmes- Serie der BBC Bibliothekskatalog Ist das Buch „Information Welche Bücher gibt es zum Retrieval“ von Stock in der Thema kollaborative HAW-Bibliothek Suche? vorhanden? Online-Dating Welche Hobbies hat Wer passt zu mir? Natalia73? Produktsuche Was kostet der Roomba Welcher Staubsaugroboter 581? ist der beste?31 |
  • 33. Navigationsorientierte Suchanfragen anhand von Klicks bestimmen32 |
  • 34. Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen33 |
  • 35. Einsatzmöglichkeiten von Query Understanding •  Anfrageerweiterung •  Generierung von Suchvorschlägen •  Steuerung der organischen Ergebnisse •  Steuerung der Werbung •  Steuerung der Universal Search34 | Dirk Lewandowski
  • 36. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit35 | Dirk Lewandowski
  • 37. Kernkomponenten einer Suchmaschine (Risvik & Michelsen 2002)36 |
  • 38. Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden. •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten (Lewandowski & Höchstötter 2007; ergänzt)37 | Dirk Lewandowski
  • 39. Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden. •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten (Lewandowski & Höchstötter 2007; ergänzt)38 | Dirk Lewandowski
  • 40. Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage? 5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage? 8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden? 10.  Mit welchen Kennzahlen soll gemessen werden?39 |
  • 41. Precision-Recall-Graph (binär) – Beispiel Websuche40 | Dirk Lewandowski
  • 42. Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“  Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)41 |
  • 43. Trefferqualität in der Nutzerstudie „Wo ist denn nun der Jungferstieg?“ Jungfernstieg42 | Dirk Lewandowski
  • 44. Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool) •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests •  Baukastenprinzip beim Testdesign •  Automatische Abfrage der Treffer der bekannten Suchmaschinen •  Search Logger (Entwicklung der Uni Tartu, Estland) •  Werkzeug zum Protokollieren von Browserinteraktionen •  Task-basiert •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können.43 |
  • 45. Agenda Suchmaschinenforschung an der HAW Die Websuche hat sich verändert... Wie kann man die Suchanfragen der Nutzer verstehen? Wie gut sind die Ergebnisse der Suchmaschinen? Fazit44 | Dirk Lewandowski
  • 46. Fazit •  Im Bereich Suche sind noch viele Fragen offen... •  Was die großen Suchmaschinen „gut“ macht, ist vor allem die Antizipation der Nutzerbedürfnisse. •  Es besteht eine starke Übertragbarkeit der Erkenntnisse aus der Websuche auf andere Suchsysteme. •  Während Einzelbereiche der Nutzer-/Suchmaschineninteraktion gut verstanden werden, fehlt ein Gesamtverständnis des Suchprozesses. •  Für viele Fragestellungen sind Kooperationen zwischen Forschung und Industrie unerlässlich.45 |
  • 47. Vielen Dank für IhreAufmerksamkeit.www.bui.haw-hamburg.de/lewandowski.htmlAktuelles Buch:Handbuch Internet-Suchmaschinen 2E-Mail:dirk.lewandowski@haw-hamburg.de