Downloaded 20 times
![20© disclosure or duplication without consent prohibited
“Genau! Und jetzt findet er mit Projektmeeting und
Stuttgart nichts, dann sage ich, OK ich suche nur
nach Projektmeeting ... Stuttgart ist jedoch so ein
essentieller Inhalt der drinnen sein muss, weil
sonst kann er damit gar nichts anfangen.“
“Wir haben zwar eine
Namenskonvention für Dokumente,
aber ... Einer verwendet einmal einen
Bindestrich, einer einen Unterstrich.
Dann sind doch immer wieder
Leerzeichen drinnen. Aber ich glaube
das ist generell ein Suchproblem. Eh
bei allen Maschinen ... Weil auf die Idee
wäre ich jetzt zum Beispiel nicht
gekommen, dass ich AreaD einmal
trenne.“
„Also mit ..[mom].. vorher habe ich das
Aktuellste gefunden. Aber da hat er eben
nachgeschaut im Content und da war eben
oben im Aktuellsten eben ..[mom].. drinnen
und im Alten nur ..[minutes of meeting].
Deswegen hat er es anders nicht gefunden ...“
Einheitliche Dokumenteninhalte und inbs. Schreibweisen erhöhen die
Qualität der Suche, sind aber leider nicht immer vorhanden
Essentielle Wörter und Informationen im Dokument erhöhen Suchererfolg
(z.B. Autor, Ort, Datum, einheitliche Projektbezeichnung, einheitl. Dokumententyp, ...)
Struktur und Norm essentieller Information in Dokumenten muss gelebt werden, um
„Raterei“ zu vermeiden („welches Schlagwort könnte denn im Dokument stehen?“)
Ergebnisse der Evaluierung (3)](https://image.slidesharecdn.com/enterprisesearchstockerwm-tagekrems2-140527044118-phpapp01/75/Enterprise-Search-Potenziale-und-Fallstricke-20-2048.jpg)
Uploaded byAlexander Stocker
Enterprise Search: Potenziale und Fallstricke
Das Dokument behandelt die Herausforderungen und Anforderungen an die Enterprise Search in Unternehmen, die durch verschiedene IT-Systeme und Wissensinseln kompliziert werden. Es wird erläutert, dass eine unzureichende Suchqualität und die Unkenntnis über die Struktur von Informationen sowohl die Produktivität der Mitarbeiter als auch die Entscheidungsfindung negativ beeinflussen können. Die Evaluierung der Nutzerzufriedenheit zeigt, dass die Suche nach relevanten Informationen oft schwieriger ist als die Navigation durch eine gut strukturierte Ordnerhierarchie.
Enterprise Search: Potenziale und Fallstricke
- 1. 1© disclosure orduplication without consent prohibited COMET K2 Competence Center - Initiated by the Federal Ministry of Transport, Innovation & Technology (BMVIT) and the Federal Ministry of Economics & Labour (BMWFI). Funded by FFG, Land Steiermark and Steirische Wirtschaftsförderung (SFG) Enterprise Search: Potenziale und Fallstricke 3. Kremser Wissensmanagement-Tage Donau-Universität Krems Dr. Alexander Stocker
- 2. 2© disclosure orduplication without consent prohibited Einführung Nutzerzufriedenheit Enterprise Search vs. Internet-Suche Ergebnisse einer Nutzerevaluierung Enterprise Search Agenda
- 3. 3© disclosure orduplication without consent prohibited Enterprise Search Einführung
- 4. 4© disclosure orduplication without consent prohibited Nutzung unterschiedlicher IT-Systeme: Wissensinseln statt einheitlicher unternehmensweiten Wissensbasis Mitarbeitern fehlt der Überblick über die Gesamtheit der Repositories: Einzelner MA weiß nicht, wie/wo er seinen Informationsbedarf decken kann. Mitarbeiter können benötigte Informationen nicht finden: Produktivität leidet darunter. Entscheidungen werden auf falschen Informationen gebildet: Resultat sind schlechte Entscheidungen. Problem wird erneut bearbeitet, obwohl an anderer Stelle schon gelöst: Das Rad wird ein zweites Mal erfunden Hohe Erwartungen der Anwender an Suche im Unternehmen: „Google“ im Unternehmen Enterprise Search Bedarf
- 5. 5© disclosure orduplication without consent prohibited Enterprise Search Bedarf Findability Survey 2013 http://de.slideshare.net/findwise/enterprise-search-and-findability-survey-2013
- 6. 6© disclosure orduplication without consent prohibited Enterprise Search schließt jegliche Organisation mit Textinhalten in elektronischer Form ein und umfasst die Suche auf externen Unternehmenswebseiten, auf internen Unternehmenswebseiten (d.h. dem Unternehmensintranet), sowie die Suche nach Text in E-Mails, Datenbankeinträgen, in Dokumenten auf Fileshares und Ähnlichem. („Challenges in Enterprise Search“, Hawking, 2004) Enterprise Search Definition
- 7. 7© disclosure orduplication without consent prohibited Enterprise Search Architektur (simplifiziert) Benutzerschnittstelle Inhaltsquellen Suchindex In welcher Inhaltsquelle steht welcher Inhalt wie oft und an welcher Stelle? Suchanfrage Trefferliste Filtermöglichkeit durch Facetten Konnektoren Für die Suche aufbereiteter Volltext der Inhalte aus den Inhaltsquellen Fileshare N: Wiki:
- 8. 8© disclosure orduplication without consent prohibited Enterprise Search Funktionsweise (simplifiziert) Suchindex Word-Dokument • Extrahieren des Inhalts (formatfreier Volltext) • Entfernung von Leerzeichen & Interpunktion (Worte = Tokens) • Entfernen der Stoppworte (inhaltsbereinigte Tokens) • Zurückführung von Wörtern in Grundform (Autos = Auto) • Tokens als Basis für inversen Index (Liste von „Wörtern“ und den Dokumenten, in welchen diese vorkommen) • .. Konnektor für Word
- 9. 9© disclosure orduplication without consent prohibited Enterprise Search Funktionsweise (simplifiziert) Suchindex • Extrahieren des Inhalts • Zerlegung in Worte • Entfernen der Stoppworte • Zurückführung von Wörtern in Grundform • … Benutzerschnittstelle • Titel • Textschnipsel • Ort (Quelle) • Metadaten • .. • Nach Relevanz sortiert
- 10. 10© disclosure orduplication without consent prohibited Enterprise Search (z.B. Microsoft Sharepoint Foundation 2013)
- 11. 11© disclosure orduplication without consent prohibited Enterprise Search Zufriedenheit
- 12. 12© disclosure orduplication without consent prohibited Enterprise Search Zufriedenheit Findability Survey 2013 http://de.slideshare.net/findwise/enterprise-search-and-findability-survey-2013
- 13. 13© disclosure orduplication without consent prohibited Enterprise Search Zufriedenheit Mindmetre: Report „Minding the Search Gap“
- 14. 14© disclosure orduplication without consent prohibited Enterprise Search Zufriedenheit Findability Survey 2013 http://de.slideshare.net/findwise/enterprise-search-and-findability-survey-2013
- 15. 15© disclosure orduplication without consent prohibited Internet Suche Suchraum besteht aus verlinkten Web- Seiten und einfach zu erschließenden Dokumenten in Standardformaten Internet-Suchmaschinen wie Google bewerten die Relevanz von Webseiten anhand der auf sie zeigenden Hyperlinks Informationen auf Web-Seiten, „wollen“ idR gefunden werden und werden daher speziell für Suchmaschinen optimiert Internet-Suche durchsucht den „öffentlichen“ Teil des Intranets, Zugriffsrechte sind dort irrelevant. Internet-Suchanfragen sind oft viel „allgemeinerer Natur“. Der Suchende ist in vielen Fällen mit einer „guten“ Antwort (von vielen möglichen guten Antworten) zufrieden, wobei meist viele mögliche gute Lösungen existieren. Internet-Suche vs. Enterprise Search Intranet Suche (Enterprise Search) Inhalte sind sehr heterogen, von völllig unstrukturiert bis hin zu strukturierten Inhalten in Datenbanken Inhalte sind in Unternehmen in der Regel nicht verlinkt, es bedarf anderer Ansätze zur Relevanzbewertung Anwender ergreifen idR wenig Initiative, um Inhalte für Intranet- Suchmaschinen zu optimieren (z.B. durch systematische Metadatenpflege) Komplexe Rollen- und Rechtestrukturen machen die Sicherstellung von Zugriffsbeschränkungen essentiell Bei der Internet-Suche existiert oftmals nur ein einziges richtiges Dokument (d.h. genau das richtige), das der Mitarbeiter möglichst rasch finden werden will.
- 16. 16© disclosure orduplication without consent prohibited Nutzernahe Evaluierung von Enterprise Search
- 17. 17© disclosure orduplication without consent prohibited Aufgabenstellung Forschungseinrichtung im Umfeld Automotive Engineering mit rund 200 Wissensarbeitenden Pilot einer Enterprise Search für die Suche nach projektspezifische Inhalten auf einem Fileshare (mit Microsoft Sharepoint Foundation 2013 Identifikation nutzernaher Aspekte zu Enterprise Search durch 10 an Experimenten teilnehmenden Wissensarbeitende Ablauf der Evaluierung Kurzes semi-strukturiertes Interview (Tätigkeiten, Dokumente & Tools, Infobedarf, Suchraum- und Dauer) Festlegung möglicher Suchtasks und Exploration durch den Wissensarbeitenden im Rahmen von „Thinking-Aloud“ Transkription der Interviews und Inhaltsanalyse Zusammenfassung der wesentlicher Aussagen und Erkenntnisse Nutzernahe Evaluierung von Enterprise Search
- 18. 18© disclosure orduplication without consent prohibited Das Finden geeigneter Keywords die zum gewünschten Suchergebnis führen sollen ist elementar – und äußerst schwierig Je „besser“ die verwendeten Keywords, desto relevanter das Suchergebnis Wissen über den möglichen Inhalt eines gesuchten Dokuments spiegelt sich in mehr oder weniger geschickt gewählten Keywords wider (z.B.: Projektnamen, -kurznamen, -kürzel) Normen, Strukturen und Schreibweisen bei Dokumentennamen und –inhalt relevant (zB immer Projektkürzel ohne - ): Je besser gelebt, desto besser das Suchergebnis. Ergebnisse der Evaluierung (1) „Also das Projekt heißt AS4T06, ach, wobei ich jetzt nicht weiß mit Bindestrich, Unterstrich oder zusammen. Also würde ich das jetzt einfach mit dem Leerzeichen eingeben AS4 T06 ..“ “Wobei das Dokument glaube ich heißt anders… Du musst irgendwie das Vokabular, das sich entwickelt hat kennen, damit du eigentlich die Möglichkeit hast danach zu suchen ... Also die richtigen Keywords zu finden, ist echt eine Herausforderung. “ “Bei der Suche ist halt der Haken, dass man schon relativ viel wissen muss. Daher ist mir oft eine saubere Ordnerstruktur sympathischer, wo ich mich durchklicken kann.“
- 19. 19© disclosure orduplication without consent prohibited Die Nutzung von Metadaten für die Suche wird durch die in der Praxis oft ungepflegten Metadaten in Dokumenten erschwert Metadaten werden für die Suche verwendet und dienen der Filterung (sog. „Facetten“) Fehlende oder falsche Metadaten reduzieren die Suchqualität (z.B. angezeigter Autor ist nicht der echte Autor, sondern nur der Ersteller der Vorlage) Systematische Pflege der Metadaten aus Sicht der Wissensarbeiternden ohne Zusatznutzen, wenn keine Suchmaschine vorhanden Ergebnisse der Evaluierung (2) “Autor,.. OK, ..das liest er also aus. Problem ist, dass es so in der Vorlage steht, und es keiner ändert.“ “Ich frage mich, ob da immer ... aha das ist der Titel vom Powerpoint ... Folie 1…, was zeigt er mir da eigentlich immer an? Wieso kommt da immer Folie 1, und nicht zum Beispiel der Titel der Präsentation.“ “Ja da stehen irgendwelche Sachen bei uns drinnen… Wachmann ... Aber ja da steht irgendetwas drinnen. Das ist ja alles überhaupt nicht gepflegt bei uns. Weil es auch keiner gebraucht hat bis jetzt“
- 20. 20© disclosure orduplication without consent prohibited “Genau! Und jetzt findet er mit Projektmeeting und Stuttgart nichts, dann sage ich, OK ich suche nur nach Projektmeeting ... Stuttgart ist jedoch so ein essentieller Inhalt der drinnen sein muss, weil sonst kann er damit gar nichts anfangen.“ “Wir haben zwar eine Namenskonvention für Dokumente, aber ... Einer verwendet einmal einen Bindestrich, einer einen Unterstrich. Dann sind doch immer wieder Leerzeichen drinnen. Aber ich glaube das ist generell ein Suchproblem. Eh bei allen Maschinen ... Weil auf die Idee wäre ich jetzt zum Beispiel nicht gekommen, dass ich AreaD einmal trenne.“ „Also mit ..[mom].. vorher habe ich das Aktuellste gefunden. Aber da hat er eben nachgeschaut im Content und da war eben oben im Aktuellsten eben ..[mom].. drinnen und im Alten nur ..[minutes of meeting]. Deswegen hat er es anders nicht gefunden ...“ Einheitliche Dokumenteninhalte und inbs. Schreibweisen erhöhen die Qualität der Suche, sind aber leider nicht immer vorhanden Essentielle Wörter und Informationen im Dokument erhöhen Suchererfolg (z.B. Autor, Ort, Datum, einheitliche Projektbezeichnung, einheitl. Dokumententyp, ...) Struktur und Norm essentieller Information in Dokumenten muss gelebt werden, um „Raterei“ zu vermeiden („welches Schlagwort könnte denn im Dokument stehen?“) Ergebnisse der Evaluierung (3)
- 21. 21© disclosure orduplication without consent prohibited Die Relevanzbewertung der Suchergebnisse durch die Suchmaschine entspricht nicht immer den Wünschen der Nutzer Die Häufigkeit des Vorkommens der Keywords in den indizierten Dokumenten ist primär verantwortlich für die Reihung der Dokumente in der Trefferliste Die Reihung der Treffer ist elementar für Nutzerzufriedenheit; Reihung nach „Aktualität“ wurde gefordert Workaround: Kopie des Pfades zum gesuchten Dokument aus der Trefferliste & manuelle Navigation durch die Ordnerstruktur Ergebnisse der Evaluierung (4) “Das ist die Aktuellste… Das Einzige, was mich da jetzt wundert ist, dass die Aktuellste da eigentlich am Schluss liegt.“ “Die Leute wünschen sich das gesuchte Dokument sehr weit vorne, und ich glaube die Leute haben auch nicht die Akzeptanz, dass sie da ewig blättern in der Trefferliste.“
- 22. 22© disclosure orduplication without consent prohibited Enterprise Search muss sich gegen bestehende „Suchstrategien“ (bzw. Informationsbeschaffungsstrategien) behaupten Face2Face Gespräche sind für die Infosuche von größter Bedeutung (z.B.: Ablageort eines Dokuments wird erfragt) Benutzer haben die Struktur der Projektordner „verinnerlicht“, so dass sie nicht mehr suchen, sondern gezielt navigieren (d.h. „finden“) Nutzung von Verknüpfungen auf Ordner und Dokumente (Links zu Projekten und wichtigen Dokumenten über Instant Messenger) Ergebnisse der Evaluierung (5) „Ich bin da nämlich ein bisschen ein Verfechter, dass die Ordnerstruktur wirklich sauber sein sollte. Suchmaschine ist dann auch gut, wenn es sie gibt, aber nicht stattdessen!“ “Das hat so oft den Namen geändert in letzter Zeit, dass ich jetzt eigentlich gar nicht mehr weiß wie es heißt. An meinem Rechner habe ich einfach einen Link darauf, und damit ist die Sache erledigt ...“ Jetzt bin ich nämlich selber neugierig, ... Was ich jetzt schon merke, was für mich total ungewohnt ist … ich bin gewöhnt, dass ich mich durch die Ordnerstrukturen durcharbeite. Aber ich nehme jetzt die Ordnernamen nicht mehr so wahr.
- 23. 23© disclosure orduplication without consent prohibited „Ja, hat mir eigentlich ganz gut gefallen jetzt. Also ich glaub schon, dass das helfen könnte. Mir haben jetzt ein bisschen die konkreten Anlassfälle dafür gefehlt.“ Enterprise Search muss aus Sicht der beteiligten Wissensarbeiter rasch einen Mehrwert für die tägliche Arbeit darstellen. Verwendung ungewohnt, obwohl Google-Suche täglich praktiziert Enterprise Search nimmt mehr Zeit in Anspruch, als Navigation durch Ordnerstruktur Probleme bei Office-Dokumenten aufgrund großer Anzahl verschiedener Dokumentenversionen (generell hohe Anzahl „ähnlicher“ Office-Dokumente) Tlw. Unzufriedenheit mit Suche, da Keywords nicht immer im Dokument vorhanden, bzw. in anderer Schreibweise Ergebnisse der Evaluierung (6) “Also normal, in der Ordnerstruktur wäre ich halt her gegangen und hätte unterhalb irgendwo gesehen ... Wenn ich da reingegangen wäre. Das habe ich halt in einer Suche zum Beispiel dann nicht unbedingt... Ich denke mir bei solchen Fällen sind hierarchische Strukturen leichter. Weil ich mich Schritt für Schritt vorhantle.“ “Ja ich glaube schon, man muss am Anfang ein bisschen umdenken, dass man nicht einfach in den Ordnern sucht, …. war vielleicht nicht so schlecht, die Schätzung mit den 10 Minuten Zeitersparnis.“ “Also ich glaube, dass ich mit der Suche länger brauche, als so normal, bis ich es finde.“
- 24. 24© disclosure orduplication without consent prohibited 1. Enterprise Search Einführung 2. Enterprise Search Nutzerzufriedenheit 3. Enterprise Search Potentiale & Fallstricke Enterprise Search Zusammenfassung
- 25. 25© disclosure orduplication without consent prohibited Kontakt Dr. Alexander Stocker VIRTUAL VEHICLE alexander.stocker@v2c2.at
Editor's Notes
- #18 Ein Thinking Aloud Test im klassichen Sinne war nicht möglich. Das strenge Rechtemanagement erlaubt es nicht, dass die Mitarbeiter Zugriff auf alle Ordner und Dateien haben. Somit war es auch nicht möglich allgemeine Suchtasks für die Probanden zu bilden. Daher wurde eine Kombination aus Interview und Thinking Aloud Test gewählt. Im Vorfeld wurden dem Probanden kurzen Fragen zum Tätigkeitsbereich und Informationsbedarf gestellt. Aus diesen gewonnen Informationen wurden dann Suchtasks für den jeweiligen Probanden abgeleitet. Die Suchtasks wurden dann im Rahmen eines Thinking Aloud Tests durchgeführt.
- #19 Es hat sich gezeigt, je besser und eindeutiger die Keywords vom Benutzer gewählt wurden, desto höher war das Sucherlebnis und desto besser auch das Suchergebnis Weiß man als Benutzer über den Inhalt der gesuchten Datei bescheid, so kann man als Benutzer wesentlich leichter Keywords definieren. Denn man kennt essentielle Inhalte nach welchen man suchen kann, bzw. nach welchen Keywörter definiert werden können. Weiß man hingegen weniger bis gar nicht über den Inhalt bescheid, so wird das definieren der Keywörter zu einer „Raterei“. Das suchen wird für den Benutzer aufwendiger. Normen und Strukturen sind wichtig für das definieren der Keywords. Es nützten Informationen nicht, wenn bestimmte Namensgebungen nicht eingehalten werden. Parade-Beispiel dafür sind die Projektkürzel. Die Benutzer sprechen zum Beispiel vom Projektkürzel A02T02. Dem User ist es dabei egal, ob es mit Leerzeichen, Bindestrich oder sonst wie geschrieben wird. Der Maschine nicht. Sucht der Bentutzer zB mit dem Keyword A02T02 und dieses Schlüsselwort befindet sich aber nicht im Dokument, wird er dieses nicht finden.
- #20 Metadaten wie Autor, Titel, Änderungsdatum und der Dateiname selbst werden ausgewertet. Es hat sich jedoch gezeigt, dass Dokumente falsche bzw. keine Metadaten beinhalten. Dies behindert den Benutzer beim Suchen. Steht zum Beispiel der falsche Autor im Dokument, so wird der User in die Irre geführt. Das falsche Autoren oder Titel in Dokumente stehen, ist darauf zurückzuführen, dass Vorlagen verwendet werden, oder Dokumente einfach kopiert werden. Der Benutzer sucht nach einem bestimmten Dokument und weiß das es vom Mister X geschrieben wurde. Der Benutzer kann jetzt seine Suchergebnisse über die Facette nach dem Autor X filtern. Jedoch wird ihm das gewünschte Dokument nicht angezeigt, da Mister Y als Autor im Dokument eingetragen ist. So ist es für den Benutzer relativ schwierig geschickt zu suchen. Hinsichtlich CAE-Files gibt es relativ wenig Möglichkeiten nach Metadaten zu suchen. Jedoch erleichtert ein Header (Autor, Datum, etc). bzw. Zusatzinformationen durch Kommentare dem User das suchen. So hat der Benutzer die Möglichkeit nach dem Autor oder bestimmte Informationen zu suchen. Dies ist für den Benutzer wesentlicher leichter als nur nach einem best. Matlabfile zu suchen. Eingeschränkt ist man jedoch bei Binärdateien. Hier kann man nur nach dem Dateinamen suchen
- #21 Wie bereits vorher schon erwähnt ist es wichtige das Dokumente essentielle Informationen enthalten. Dies erhöht den Sucherfolg. Als Suchender kann man sich an die wichtigsten Informationen erinnern. Es hat sich gezeigt das sich die Benutzer an das ungefähre Datum, den Ersteller oder an den Ort an dem zum Beispiel ein Meeting stattfand erinnern kann. Sind diese Informationen im Dokument nicht enthalten, ist es für den Benutzer schwierig das Dokument aufzufinden, geschweige denn überhaupt zu finden. Bsp Meetingprotokoll Stuttgart -> Keyword Stuttgart nicht enthalten -> wird nicht gefunden Essentielle Information soll auch eine einheitliche Struktur haben. Beispiel Projektkürzel, Autor etc. Muss ich als Benutzer nämlich Raten, schreibt man das mit Bindestrich, Leerzeichen etc. verliere ich die Freude an der Suchmaschine. Muss alle Möglichkeiten ausprobieren. Dauert lange, und bin ich vermutlich mit der alten Ordnerstruktur schneller.
- #22 Die Suchmaschine reiht die Ergebnisse nach dem Vorkommen der Keywörter im Dokument. Für den User natürlich immer schwierig, da er selbst nicht weiß wie oft seine Keywörter im Dokument vorkommen. Somit kann es natürlich passieren, dass das gewünschte Dokument nicht auf den ersten Seiten der Suchergebnissen vorkommt. Als User wünscht man sich jedoch seinen Dokument an vorderster Front. Die besondere Gegebenheit am Vif, dass es von einem Dokument mehrere Versionen gibt führt zum Wunsch nach einer Reihung nach Aktualität. Es muss nämlich nicht sein, dass das Aktuellste Dokument zwingend auch von der Relevanzbewertung her das erste Dokument in der Ergebnislist ist. Das heißt für den Benutzer, dass er im Worst-Case die gesamte Ergebnisliste nach seinem Dokument absuchen muss.