Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

1. Relevance Assessment Tool Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung, Aufbereitung und Auswertung der Daten Dirk Lewandowski Sebastian Sünkler Hochschule für Angewandte Wissenschaften Hamburg

2. 1.  Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen 2.  Konzeption des Relevance Assessment Tool 3.  Vorstellung der Komponenten und technische Umsetzung 4.  Bisherige Anwendung 5.  Fazit Agenda

4. Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen §  Aufbau von Studien zur Retrievaleffektivität von Suchmaschinen (Lewandowski 2011) Rückgriff auf Methoden der klassischen IR-Evaluierung (Cranfield, TREC) 1.  Menge von Suchaufgaben / -anfragen wird gebildet 2.  Suchanfragen werden an Suchmaschinen geschickt 3.  Treffer werden anonymisiert und randomisiert 4.  Treffer werden Juroren zur Bewertung vorgelegt 5.  (Wieder-)Zuordnung der Treffer zu den Suchmaschinen 6.  Auswertung

5. Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen §  Aufbau von Studien zur Retrievaleffektivität von Suchmaschinen: Entscheidungen (Lewandowski 2011) §  Auswahl von Suchmaschinen §  Auswahl von Suchanfragen §  Anzahl der Ergebnisse pro Suchanfrage/Suchmaschine §  Anzahl der Juroren §  Bewertung der Dokumente §  Berücksichtigung der Trefferbeschreibungen

6. Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen §  Aufbau von Studien zur Retrievaleffektivität von Suchmaschinen: Entscheidungen (Lewandowski 2011) §  Auswahl von Suchmaschinen 3 §  Auswahl von Suchanfragen 50 §  Anzahl der Ergebnisse pro Suchanfrage/Suchmaschine 10 §  Anzahl der Juroren 1 §  Bewertung der Dokumente §  Berücksichtigung der Trefferbeschreibungen 1.500

7. Problemstellung: Studien zur Retrievaleffektivität von Suchmaschinen §  Über die Jahre wurden zahlreiche Studien durchgeführt §  u.a. Griesbaum 2004; Lewandowski 2008; Tawileh, Mandl & Griesbaum 2010 §  Überblick der Methoden, Datenerhebung und Methodenkritik in Lewandowski 2008 §  Zentrale Probleme: Testdesign, Datenerhebung, Skalierung §  Testdesign meist manuell; dadurch unflexibel und keine Wiederverwendbarkeit §  Unterschiedliche Methoden der Datenerhebung; „Behelfs-Software“ §  Erhebung der Suchergebnisse §  Erhebung der Relevanzurteile §  Geringer Testumfang, auch wegen komplizierter Datenerhebung

9. Konzeption des Relevance Assessment Tool §  Idee: Eine Software, die flexibles Testdesign, eine problemlose Datenerhebung und skalierbare Tests erlaubt. §  Testdesign im Baukastenprinzip §  Vereinfachte Datenerhebung §  Automatische Erfassung der Suchergebnisse, Anonymisierung (auch der Trefferbeschreibungen) und Randomisierung §  Relevanzurteile im Web-Interface (mit Zugangscodes) §  Skalierung durch flexiblen Zugang

10. Konzeption des Relevance Assessment Tool §  Testdesign im Baukastenprinzip §  Prinzipiell lassen sich in RAT alle Fragen zu Suchergebnissen abbilden. §  Verwendung von Templates §  Skalen §  Sprachen §  Nachnutzung aller in Templates angelegten Skalen, Sprachen, usw. §  Erhebung der Suchmaschinen-Ergebnisse §  Erfolgt automatisiert über Suchmaschinen-Scraper §  Zusätzlicher Upload von Daten von nicht unterstützten Suchmaschinen möglich (Excel-Tabelle)

11. Konzeption des Relevance Assessment Tool §  Erhebung der (Relevanz-)Urteile §  Zugang zu den einzelnen Projekten über Zugangscodes §  Verteilte Erhebung („Crowdsourcing“) §  Zusätzlich Versand von Gutscheincodes bei erfolgreicher Aufgabenbearbeitung möglich à  Der Aufwand für die Erstellung und Durchführung der Tests wird erheblich reduziert, dadurch u.a. §  weit umfangreichere Tests §  Suchmaschinentests als Bachlor-/Masterarbeiten

13. Relevance Assessment Tool: Komponenten § Verwaltung und Gestaltung von Studien Administrationsinterface Suchmaschinenscraper § Automatisierte Erfassung von Suchergebnissen mit lokaler Speicherung. § Modul für die Datenerhebung durch Bewertungen von Suchergebnissen. Userinterface § Auswertung erhobener Daten mit definierten Größen in Form von Excel-Tabellen. Auswertungsmodul

14. Administrationsinterface § Formulare für die Projektgestaltung. § Design von wiederverwendbaren Sprachvorlagen und Bewertungsskalen. § Modul zur Gestaltung von Suchaufgaben mit Angaben zu den zu bewertenden Suchitems (Treffer und Treffer- beschreibungen), Suchanfragen und Aufgabenstellung.

15. Suchmaschinenscraper § Funktionen aus der cURL-Library. § Automatisierte Anfragen an Suchmaschinen basierend auf den Keywords zu den Suchaufgaben. § Suchergebnisseiten werden mit XPath ausgelesen. § Mit Filtern für Suchmaschinen werden Elemente wie URL, Titel und Beschreibung erkannt und gespeichert. (Begrenzt auf organische Treffer) § Import von Tabellen mit Ergebnissen.

16. Vorstellung der Module und technische Umsetzung §  Kontinuierlich gepflegte Scraper §  Google §  Bing §  Yahoo §  In Projekten umgesetzte Scraper §  Amazon §  Otto §  Musicload §  Yandex §  T-Online §  Suggestions-Scraper §  T-Online §  Google

17. Userinterface § Zugang zum Nutzerinterface über Zugangscodes. § Aufbereitung der Ergebnisse in anonymisierter Form. § Informationen zur Suchaufgabe, Bewertungsskalen, Trefferbeschreibungen und / oder Trefferseiten § Filterung von doppelten URLs, Möglichkeit zur Bearbeitung mehrerer Suchaufgaben durch Juroren.

18. Userinterface (2)

19. Auswertungsmodul § Noch in der Entwicklung. § Bisheriger Export der generierten Daten aus dem Nutzerinterface als Excel-Tabelle möglich. § Anpassung von Skalenwerten in numerische, berechenbare Werte. § Auswahl von Standardmaßen wie Recall und Precision sowie Definition eigener Messwerte soll möglich sein.

20. Ausschnitt aus einer generierten Excel-Tabelle

22. RAT in der Praxis

24. Weiterentwicklung von RAT •  Verbindung mit dem Search Logger, einem Tool zur Erfassung von Nutzerinteraktionen in explorativen Suchen. •  Scrapingfunktionalität auf Universal-Search-Ergebnisse erweitern. •  Beurteilungen von Suchergebnisseiten (zusätzlich zu isolierten Ergebnissen) ermöglichen. •  Fertigstellung eines flexiblen Auswertungsmoduls.

25. Fazit 1.  Mit dem Relevance Assessment Tool lassen sich Suchmaschinentests einfach und flexibel durchführen. 2.  Wenn Sie eine Studie mit Hilfe des RAT durchführen möchten, sprechen Sie uns bitte einfach an.

26. Vielen Dank für Ihre Aufmerksamkeit Dirk Lewandowski dirk.lewandowski@haw-hamburg,de Sebastian Sünkler sebastian.suenkler@gmx.de http://www.bui.haw-hamburg.de/lewandowski.html RAT-Mini-Demo: http://www.searchstudies.org/rat Zugangscode: RAT-Test

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Recommended

More Related Content

Similar to Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung

Similar to Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung(20)

More from Hamburg University of Applied Sciences (HAW)

More from Hamburg University of Applied Sciences (HAW)(11)

Relevance Assessment Tool - Ein Werkzeug zum Design von Retrievaltests sowie zur weitgehend automatisierten Erfassung