Suchmaschinenforschung an der HAW HamburgProf. Dr. Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg, Depar...
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
Suchmaschinenmarkt: Deutschland 20113 | Dirk Lewandowski                    (Webhits, 2011)
Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden. •  Qualität des...
Methoden                                Logfile-Analyse                                                               Heur...
Aktuelle Projekte im Bereich Suche •  Forschungsprojekte       •  Qualität von Web-Suchmaschinen (laufend bis 2011)       ...
Aktuelle Projekte im Bereich Suche •  Lehrprojekte      –  Verbesserung der Musiksuche (WS2010/11; Musicload)      –  Loka...
Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der    Gebrauchst...
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
x10 | Dirk Lewandowski   (Eyetracking-Studie HAW-Hamburg 2010)
x11 | Dirk Lewandowski
x12 | Dirk Lewandowski
Eye-Tracking •  x13 |
x14 |
Anzeigen        Nachrichten           Bilder x         Videos       Blogbeiträge15 |
Empirische Untersuchung zur Präsentation der Treffer auf den Ergebnisseiten •  Methode    •  Suchanfragen-Stichprobe zufäl...
Verteilung der Ergebnistypen innerhalb der ersten Ergebnisseiten17 |                                        (Höchstötter u...
Aus welchen Quellen kommen die Ergebnisse? Beispiel Google18 |
Charakteristika der Treffermengen •  Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf?                              ...
Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen Hintergrund?20 |
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse    •  Durchschnittliche Bewertung der Suchergebnisse (Syst...
Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Such...
Precision-Recall-Graph (binär)24 | Dirk Lewandowski
Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm    •  Annahme: Nutzer gibt Su...
Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool)    •  Werkzeug zum Design und zur Durchführung klassischer R...
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert)       –  Nutzer möchte sich zu...
Navigationsorientierte Suchanfragen anhand von Klicks bestimmen29 |
Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen30 |
Hätten Sie‘s verstanden? •     bbl •     vatikan •     stockbrot •     motonetix •     nedcom •     fußball •     drehsche...
Suchanfragen im Kontext32 |
Agenda  Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind ...
Fazit •  Im Themenbereich Suchmaschinen gibt es vielfältige Fragen. •  Nur die Informationswissenschaft bietet    •  das n...
Vielen Dank für IhreAufmerksamkeit.www.bui.haw-hamburg.de/lewandowski.htmlAktuelles Buch:Handbuch Internet-Suchmaschinen 2...
Upcoming SlideShare
Loading in...5
×

Suchmaschinenforschung an der HAW Hamburg

403

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
403
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Suchmaschinenforschung an der HAW Hamburg

  1. 1. Suchmaschinenforschung an der HAW HamburgProf. Dr. Dirk LewandowskiHochschule für Angewandte Wissenschaften Hamburg, Department Informationdirk.lewandowski@haw-hamburg.de
  2. 2. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit1 | Dirk Lewandowski
  3. 3. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit2 | Dirk Lewandowski
  4. 4. Suchmaschinenmarkt: Deutschland 20113 | Dirk Lewandowski (Webhits, 2011)
  5. 5. Die Qualität von Suchmaschinen kann nur durch eine Kombination unterschiedlicher Faktoren gemessen werden. •  Qualität des Index –  Größe des Datenbestands, Abdeckung des Web –  Abdeckung bestimmter Bereiche (Sprachräume, Länder) –  Überschneidungen der Indices –  Aktualität des Datenbestands •  Qualität der Suchresultate –  Retrievaleffektivität –  Zuverlässigkeit der Suchergebnisse –  Zufriedenheit der Nutzer –  Überschneidungen der (Top-)Ergebnisse •  Qualität der Suchfunktionen •  Nutzerfreundlichkeit + Benutzerführung –  Aufbau der Trefferseiten (Lewandowski & Höchstötter 2007; ergänzt)4 | Dirk Lewandowski
  6. 6. Methoden Logfile-Analyse Heuristische Relevanztest Evaluation Search Online-Umfrage Usability-Test Eye-Tracking Physiologische Untersuchung5 |
  7. 7. Aktuelle Projekte im Bereich Suche •  Forschungsprojekte •  Qualität von Web-Suchmaschinen (laufend bis 2011) •  Forschungsprojekt „Wissenschaftssuchmaschinen“ (seit WS 2008/09) •  Query Understanding (seit 2010) •  Search Experience (ab 2011)  Wir wollen den Suchprozess sowohl aus system- als auch aus nutzerzentrierter Perspektive verstehen und aus diesem Verständnis Empfehlungen für die Verbesserung von Suchsystemen ableiten.6 | Dirk Lewandowski
  8. 8. Aktuelle Projekte im Bereich Suche •  Lehrprojekte –  Verbesserung der Musiksuche (WS2010/11; Musicload) –  Lokale Suchmaschinen: Eye-Tracking und Usability (WS 2009/10, Projektpartner T-Online) –  Einbindung von Frage-Antwort-Diensten in die Web-Suche (WS2007/08, Projektpartner Lycos Europe) •  Abgeschlossene Entwicklungsprojekte (mit MA-Studierenden) •  Suchanfragenklassifikation (in Zusammenarbeit mit T-Online) •  Produktsuche (mit Otto) •  Universal-Search-Konzept für die T-Online-Portalsuche7 | Dirk Lewandowski
  9. 9. Abschlussarbeiten (Auswahl) •  Vergleichende Analyse und szenariobasierte Usability Tests zur Evaluation der Gebrauchstauglichkeit neu gestarteter Suchmaschinen •  Vergleich der Eyetracking-Systeme von Tobii und Interactive Minds unter besonderer Betrachtung der Auswertung bei dynamischen Webseiten-Elementen •  Empirische Analyse von emotionalen Reaktionen im Prozess der Informationssuche im Web •  Die Qualität von Retrievalergebnissen im Vergleich – Google Book Search und der OPAC einer wissenschaftlichen Bibliothek •  Zur Struktur der Trefferbeschreibungen in Web-Suchmaschinen und deren Beurteilung durch den Nutzer •  Optimierung der Suche von Nachrichten-Inhalten am Beispiel von Stern.de •  Untersuchung zum Nutzerverhalten auf der Website SPIEGEL Wissen8 | Dirk Lewandowski
  10. 10. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit9 | Dirk Lewandowski
  11. 11. x10 | Dirk Lewandowski (Eyetracking-Studie HAW-Hamburg 2010)
  12. 12. x11 | Dirk Lewandowski
  13. 13. x12 | Dirk Lewandowski
  14. 14. Eye-Tracking •  x13 |
  15. 15. x14 |
  16. 16. Anzeigen Nachrichten Bilder x Videos Blogbeiträge15 |
  17. 17. Empirische Untersuchung zur Präsentation der Treffer auf den Ergebnisseiten •  Methode •  Suchanfragen-Stichprobe zufällig ausgewählt aus •  Top-Suchanfragen (pop) •  Seltenen Suchanfragen (rare) •  Stichprobe von 2x 1099 Suchanfragen •  Automatische Anfragen an die Suchmaschinen Ask, Bing, Google, Yahoo. •  Extraktion der auf den Ergebnisseiten präsentierten Elementen („screen scraping“).16 | (Lewandowski & Höchstötter; in Arbeit)
  18. 18. Verteilung der Ergebnistypen innerhalb der ersten Ergebnisseiten17 | (Höchstötter und Lewandowski; in Arbeit)
  19. 19. Aus welchen Quellen kommen die Ergebnisse? Beispiel Google18 |
  20. 20. Charakteristika der Treffermengen •  Wie häufig tauchen Wikipedia-Treffer* in den Top10 auf? Ask Bing Google Yahoo Populäre 12,8% 91,5% 58,3% 46,4% Suchanfragen Rare 12,6% 43,0% 22,4% 22,5% Suchanfragen * Nur deutsche Wikipedia-Treffer19 | (Lewandowski & Höchstötter; in Arbeit)
  21. 21. Welcher Anteil der Ergebnisse (Top 10) hat einen kommerziellen Hintergrund?20 |
  22. 22. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit21 | Dirk Lewandowski
  23. 23. Was soll eigentlich gemessen werden? •  Relevanz der Ergebnisse •  Durchschnittliche Bewertung der Suchergebnisse (Systemseite) •  Bewertung jedes einzelnen gefundenen Treffers hinsichtlich seiner Eignung zur Beantwortung der Suchanfrage. •  Ergebnisse mehrerer Suchmaschinen können gemischt werden; Herkunft der Treffer kann verschleiert werden. •  Zufriedenheit der Nutzer mit einem Suchprozess •  Durchschnittliche Bewertung der Suchprozesse (Nutzerseite) •  Bewertung jeder einzelnen Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine. •  Wissenszuwachs •  Durchschnittliche Bewertung dessen, „was hängen geblieben ist“ (Nutzerseite) •  Bewertung des Wissenszuwachses nach einer Suchsession. •  Jeder Nutzer kann nur eine Suchmaschine bewerten; Kenntnis der Suchmaschine.22 |
  24. 24. Entscheidungen beim Design klassischer Retrievaltests 1. Welche Suchmaschine(n)? 2. Wie viele Suchanfragen? 3. Welche Suchanfragen? 4. Wie viele Ergebnisse pro Suchanfrage? 5. Wie viele Juroren? 6. Welche Juroren(gruppen)? 7. Wie viele Juroren je Suchanfrage? 8. Wie sollen Dokumente bewertet werden (Skalen)? 9. Sollen Dokumentbeschreibungen berücksichtigt werden? 10.  Mit welchen Kennzahlen soll gemessen werden?23 |
  25. 25. Precision-Recall-Graph (binär)24 | Dirk Lewandowski
  26. 26. Welches Nutzerverhalten kann in Retrievaltests abgebildet werden? •  Query-response paradigm •  Annahme: Nutzer gibt Suchanfrage ein, prüft dann das Ergebnis. •  Statisch; „systemorientiert“  „Klassische“ Retrievaltests (Abfrage der „objektiven“ Trefferqualität) •  Interaktives Retrieval •  Annahme: •  Recherche findet in mehreren Schritten statt. •  Bei der Recherche handelt es sich um einen „Dialog“ zwischen Nutzer und System. •  Dynamisch, „nutzerorientiert“  Nutzerstudien (Abfrage der Zufriedenheit der Nutzer)25 |
  27. 27. Tools: RAT & Search Logger •  RAT (Relevance Assessment Tool) •  Werkzeug zum Design und zur Durchführung klassischer Retrievaltests •  Baukastenprinzip beim Testdesign •  Automatische Abfrage der Treffer der bekannten Suchmaschinen •  Search Logger (Entwicklung der Uni Tartu, Estland) •  Werkzeug zum Protokollieren von Browserinteraktionen •  Task-basiert •  Ziel 2011: Zusammenführung der beiden Tools, um interaktives IR in Suchmaschinen evaluieren zu können.26 |
  28. 28. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit27 | Dirk Lewandowski
  29. 29. Drei Anfragetypen Anfragetypen nach Broder (2002) •  Informational (informationsorientiert) –  Nutzer möchte sich zu einem Thema informieren. –  Ziel sind mehrere Dokumente. •  Navigational (navigationsorientiert) –  Ziel ist es, eine bestimmte Seite (wieder) zu finden. –  Typisch: Suche nach Homepage („Daimler Chrysler“). –  Ziel ist i.d.R. ein Dokument. •  Transactional (transaktionsorientiert) –  Ziel ist das Auffinden einer Website, auf der dann eine Transaktion stattfinden soll. –  Beispiele für Transaktionen: Kauf eines Produkts, Download einer Datei.28 |
  30. 30. Navigationsorientierte Suchanfragen anhand von Klicks bestimmen29 |
  31. 31. Transaktionsorientierte Suchanfragen anhand der Klicks bestimmen30 |
  32. 32. Hätten Sie‘s verstanden? •  bbl •  vatikan •  stockbrot •  motonetix •  nedcom •  fußball •  drehscheibe •  frauentausch •  seelenfarben •  kachelmannwetter •  osterei •  wie ich •  wow31 | Dirk Lewandowski
  33. 33. Suchanfragen im Kontext32 |
  34. 34. Agenda Einleitung: Forschungsbereiche und Methoden Was bekommen Nutzer auf den Suchergebnisseiten zu sehen? Wie gut sind die Suchergebnisse? Wie können wir erkennen, was ein Nutzer mit seiner Suchanfrage meint? Fazit33 | Dirk Lewandowski
  35. 35. Fazit •  Im Themenbereich Suchmaschinen gibt es vielfältige Fragen. •  Nur die Informationswissenschaft bietet •  das nötige breite Methodenspektrum •  Mischung aus technischem + sozial- und gesellschaftswissenschaftlichem Know- How •  Und zuletzt: Die Berufsaussichten in diesem Themenbereich sind sehr gut!34 |
  36. 36. Vielen Dank für IhreAufmerksamkeit.www.bui.haw-hamburg.de/lewandowski.htmlAktuelles Buch:Handbuch Internet-Suchmaschinen 2E-Mail:dirk.lewandowski@haw-hamburg.de
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×