Your SlideShare is downloading. ×
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Qualitätssicherung bei Annotationen. Soziale und technologische Verfahren in der Medienbranche.

1,630

Published on

Band 5 der Reihe "Linked Media Lab Reports" …

Band 5 der Reihe "Linked Media Lab Reports"

Annotationen stellen ein Mittel dar, um Texte, Dokumente und audiovisuelle Materialien im Web und in unternehmensinternen Informationssystemen mit ergänzenden Schlagwörtern zu versehen, die den Inhalt der Materialien prägnant kennzeichnen. Traditionell werden Annotationen von Fachleuten, wie Archivaren oder den Autoren selbst durchgeführt. Bei neueren Verfahren werden Annotationen, beispielsweise Schlagworte, auch automatisch oder von einer Community hinzugefügt. Sowohl bei den klassischen Verfahren als auch - und insbesondere - bei den jüngeren Verfahren spielt die Qualitätssicherung für Annotationen eine zunehmend wichtige Rolle, da sie u.a. Voraussetzung für hochwertige Suchergebnisse ist.

Die Anbieter und Betreiber von Informationssystemen und Medienarchiven setzen unterschiedliche Verfahren sozialer und technischer Natur ein, um die Qualität der Annotationen effektiv zu sichern. In diesem fünften Band der Linked Media Lab Reports des „Salzburg NewMediaLab – The Next Generation“ werden tradierte sowie innovative Ansätze aus der Literatur und der Praxis von Medienarchiven zusammengetragen und vorgestellt.

Autoren: Sandra Schön, Georg Güntner, Jean-Christoph Börner, Sven Leitinger, Marius Schebella, Andreas Strasser, Stefan Thaler, Michael Vielhaber und Andrea Wolfinger.

Band 5 der Reihe „Linked Media Lab Reports“, herausgegeben von Christoph Bauer, Georg Güntner und Sebastian Schaffert

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,630
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
32
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. QUALITÄTSSICHERUNG BEI ANNOTATIONEN und technologische Verfahren in der Medienbranche Sandra Schön und Georg Güntnerunter Mitwirkung von Jean-Christoph Börner, Sven Leitinger, Marius Schebella, Andreas Strasser, Stefan Thaler, Michael Vielhaber und Andrea Wolfinger
  • 2. Das Kompetenzzentrum für Neue Medien, SalzburgNewMediaLab – The Next Generation (SNML-TNG)arbeitet unter der Koordination der Salzburg ResearchForschungsges.m.b.H. daran, digitale Inhalte zu personali-sieren, für alle auffindbar zu machen und nachhaltig zunutzen: Dazu werden Informationen auf der Ebene der In-halte (Linked Content), der stukturierten Daten (LinkedData) und der sozialen Interaktion (Linked People) ver-knüpft. Für die dadurch entstehende Form von Inhalten wurde der Begriff „Linked Me-dia“ gewählt. SNML-TNG ist ein K-Projekt im Rahmen des COMET-Programms (Compe-tence Centers for Excellent Technologies, www.ffg.at/comet) und wird gefördert aus Mit-teln des BMWFJ, des BMVIT und des Landes Salzburg.Homepage: www.newmedialab.at© Salzburg NewMediaLab – The Next Generation – November 2012ISBN 978-3-902448-32-3Sandra Schön, Georg Güntner, Jean-Christoph Börner, Sven Leitinger,Marius Schebella, Andreas Strasser, Stefan Thaler, Michael Vielhaberund Andrea Wolfinger:Qualitätssicherung bei Annotationen.Soziale und technologische Verfahren in der Medienbranche.Band 5 der Reihe „Linked Media Lab Reports“,herausgegeben von Christoph Bauer, Georg Güntner und Sebastian SchaffertVerlag und Herstellung: Salzburg Research, SalzburgUmschlaggestaltung: Daniela Gnad, Salzburg ResearchBibliografische Information der Deutschen Nationalbibliothek:Die Deutsche Nationalbibliothek verzeichnet diese Publikationin der Deutschen Nationalbibliografie; detaillierte bibliografischeDaten sind im Internet über http://dnb.d-nb.de abrufbar.
  • 3. VorwortDas Kompetenzzentrum für Neue Medien agiert als Denkfabrik für innovativeKonzepte und Lösungen für die österreichische Medien- und Content-Industrieund bietet Technologieanbietern und den Betreibern von Internet-Plattformeneine Heimat zur Entwicklung und Erprobung innovativer Informationsarchitek-turen. Gemeinsam mit führenden Vertretern der Medien- und Content-Industriewurden dabei von Beginn an konkrete Lösungen entwickelt und erfolgreich umge-setzt.Seit der Gründung 2000 haben sich die Fragestellungen das Salzburg NewMedia-Lab mit der technologischen Entwicklung des Internets stark verändert: Ging es inder Anfangsphase noch vorwiegend um die Trennung von Inhalt und Layout imOnline-Bereich, so ermöglichten es die ab 2003 aufkommenden Technologien desSemantic Web erstmals die Bedeutung von Inhalten auch für Computer-programme begreifbar zu machen. In dieser Zeit arbeitete das Salzburg New-MediaLab an der Entwicklung intelligenter Inhalte, die sich ihrem jeweiligen Ver-wendungsbereich automatisch anpassen.Mit dem Aufstieg der sozialen Netzwerke entstanden neue Anforderungen an dieMedien- und Content-Industrie: Unter dem Schlagwort „Linked Media“ (verlinkteMedien) tritt das Kompetenzzentrum ab 2010 für ein neuartiges Konzept digitalerInformationen ein, das auf der Verknüpfung von Inhalten, von strukturierten Da-ten und von Akteuren bzw. auf deren sozialen Interaktion mit den Inhalten be-ruht. Durch die Nutzung verfügbarer Wissensquellen und des sozialen Kontextesder Akteure bietet sich Unternehmen die Chance, ihre Inhalte über verschiedeneAnwendungen hinaus zu verknüpfen und den Kostendruck bei der Entwicklungpersonalisierter Inhalte zu reduzieren.Die Vorreiterrolle bei der Umsetzung des Linked-Media-Konzepts nehmen unterder Koordination der Salzburg Research Forschungsgesellschaft führende öster-reichische Medienunternehmen (ORF, Red Bull Media House, Salzburg AG, Salz-burger Nachrichten, derStandard.at) und Softwarehäuser (mediamid, SemanticWeb Company, TECHNODAT) ein. Sie werden wissenschaftlich begleitet von For-schungseinrichtungen im Bereich der Multimedia-Technologien, des SemanticWeb und der sozialen Medien (Studiengang MultiMediaTechnology der FH Salz-burg, Semantic Technology Institut der Universität Innsbruck, Salzburg Research).Im Rahmen der Forschungsarbeiten beschäftigen wir uns schwerpunktmäßig mitFragestellungen zur unternehmensweiten Suche („Semantic Enterprise Search“)und mit Verfahren zur Annotation von Unternehmens-(Daten-)Ressourcen. Dabeispielt die Qualitätssicherung bei Annotationen eine zunehmend wichtige Rolle,weil die Qualität der Annotationen – gerade im Bereich der audiovisuellen Medi-en, wo automatische inhaltsbasierte Analyseverfahren noch keine befriedigendenErgebnisse liefern – eine wichtige Voraussetzung für die Qualität der Suchergeb-nisse ist.
  • 4. Wir hoffen, mit diesem fünften Band der „Linked Media Lab Reports“ einen gelun-genen Einblick in die Möglichkeiten der Qualitätssicherung von Annotationen zugeben.Auch im Namen von Sandra Schön bedanke ich mich dabei herzlich bei unserenPartnern und Ko-Autorinnen und Autoren, namentlich Dipl-Infowiss. Jean-Chri-stoph Börner (Leiter Mediendokumentation und TV-Archiv ServusTV), MSc. SvenLeitinger (Salzburg Research) Dr. Andreas Strasser (Salzburg Research), StefanThaler (ehemals STI Innsbruck), Mag. Andrea Wolfinger (Redakteurin Dokumen-tation / ORF – Dokumentation & Archive – FZ2) sowie B.A. Michael VielhaberM.P.O.S. (Redakteur Dokumentation / ORF – Dokumentation & Archive – FZ2).Herzlichen Dank auch an MSc. Marius Schebella (FH Salzburg) für seine Hinweiseund Verbesserungsvorschläge!Georg Güntnerwww.newmedialab.atZentrumsleiterNovember 2012
  • 5. Inhaltsverzeichnis Einleitung und Hintergrund........................................................................... 7 Einleitung................................................................................................. 7 Hintergrund.............................................................................................. 8 Annotationen: Entstehung und Einsatz.......................................................... 9 Annotationen........................................................................................... 9 Die Entwicklung von papierbasierten zu digitalen Annotationen .............9 Annotationsformen und -kombinationen............................................... 12 Qualität von Annotationen und ihre Rolle für die Medienbranche..............15 Rolle von Annotationen in der Medienbranche...................................... 15 Qualität von Annotation......................................................................... 15 Kriterien nach Annotationstyp................................................................16 Der Prozess der Annotation und Ansatzmöglichkeiten der Qualitätssicherung............................................................................ 17 Der Prozess der Annotation: Beteiligte und Rahmenbedingungen.........17 Ursache von Qualitätsmängeln...............................................................18 Qualitätssicherung................................................................................. 19 Qualitätsmanagement nach ISO-9000.................................................... 19 Ausgewählte ISO-Normen für Qualitätssicherung in der Medienbranche ..................................................................................................... 20 Ansatzmöglichkeiten zur Qualitätssicherung von Annotationen............20 „Soziale“ und „technische“ Qualitätssicherungsmaßnahmen im Überblick ..................................................................................................... 22 Soziale Prozesse der Qualitätssicherung...................................................... 23 (a) Entwicklung von Klassifikationsschemas und Regelwerken...............23 (b) Überprüfung des Klassifikationsschemas auf Konsistenz...................25 (c) Doppelte und mehrfache Annotation................................................ 25 (d) Schulung von Kategorienschemas und Annotationstraining..............25 (e) Überprüfung der Anwendung von Klassifikationsschemas................25 (f) Entwicklung und Einsatz eines Prüfkorpus für Annotatoren...............26 (g) Zusammenarbeit von Archivaren und Kunden/Nutzern....................27 (h) Erhebung der Kunden/Nutzerbedürfnisse und -zufriedenheit ..........27 (i) Erhebung des Nutzerverhaltens......................................................... 27
  • 6. Technologische Unterstützung der Qualitätssicherung................................29 (a) Unterstützung bei der Erstellung und beim Management von Kategorienschemas (Taxonomien)............................................... 29 (b) Steuerung des Annotationsprozess................................................... 30 (c) Vergleich der Annotationen und Bereinigung bei Mehrfach- Annotation................................................................................... 31 (d) Qualitätsprüfung mit Hilfe automatischer Annotationen .................31 (e) Monitoring des Annotationsprozess..................................................32 (f) Qualitätssicherung mit und von (semi-) automatischen Annotationen ..................................................................................................... 32 (g) Einsatz von Empfehlungssystemen für Annotationsvorschläge.........34 (h) Visualisierung der Vertrauenswürdigkeit von Annotationen und Tags ..................................................................................................... 35 (i) Spielbasierte Ansätze zur Qualitätsprüfung........................................36 (j) Qualitätssicherung auf Seiten der Nutzer/innen................................38Der Einsatz und Erfahrungen mit Qualitätssicherung von Annotationen in Medienarchiven................................................................................ 43 Qualitätssicherung der Annotation in der täglichen Praxis des ORF-Fernseharchives................................................................... 43 Qualitätssicherung der Annotation bei Servus TV...................................47 Zusammenschau der Qualitätssicherungsaktivitäten in Fernseharchiven ..................................................................................................... 49Ausblick und Entwicklungen........................................................................ 51
  • 7. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche EINLEITUNG UND HINTERGRUNDEinleitungUm Texte, Dokumente oder auch audio-visuelle Materialien gut erschließen zukönnen, wird mit Annotationen gearbeitet. Dabei ist essentiell, dass es sich hierbeinicht um „irgendwelche“ Annotationen handelt, sondern Anmerkungen, Schlag-worte und weitergehende Informationen, die spätere Verwendungen, z.B. die Re-cherche, tatsächlich unterstützen. Wichtig ist also, insbesondere in der Medien-branche, in der es viele nicht-textuelle Beiträge gibt, die Qualität der Annotationenzu gewährleisten und abzusichern. In Handbüchern zum Projektmanagementoder Qualitätsmanagement im Multimedia-Bereich hat das Thema bisher keinenEinzug gefunden: Beispielsweise gibt es den Begriff „Annotation“ im ganzen Buch„Multimedia-Projektmanagement“ von Schifma und Heinrich (2001) nicht. Ertaucht auch nicht im „Handbuch Medienproduktion (Krömker & Herkenrath,2005) im Lehrbuch „Medienmanagement (Altendorfer & Hilmer, 2006) oder im„Medien- und Internetmanagement (Wirtz, 2005) auf.1In unserem Bericht wird zunächst einführend geklärt, was Annotationen und ihreZielsetzungen sind und auch, welche Annotationsformen und -bedürfnisse es vorallem in der Medienbranche gibt. Danach stellen wir Verfahren vor, wie man dieQualität von Annotationen sichern kann. Dabei werden sowohl soziale, als auchtechnologische Verfahren vorgestellt.Dazu werden wir den Forschungs- und Praxisstand zu folgenden Fragen beschrei-ben und erörtern:– Was sind Annotationen und welche Rolle spielen sie in der Medienbranche?– Welche sozialen Prozesse können die Qualität von Annotationen sichern?– Welche technischen Prozesse und Methoden können die Qualität von Annotatio- nen sichern?– Welche Verfahren werden derzeit in der Medienbranche tatsächlich eingesetzt?Dieser Beitrag bietet dabei keine abschließende Lösung, sondern stellt existieren-de und mögliche Lösungen und Ansätze vor, wie sie vorrangig in der Informatik inForschungsarbeiten erwähnt werden oder wie sie bei unseren Medienpartnerneingesetzt werden. Dieser Lab Report stellt damit eine Basis für weitere wissen-schaftliche und praktische Maßnahmen dar.1 Hierbei beziehen wir uns auf Recherchen mit Hilfe der Volltextsuche bei Amazon.de (Stand 2012-09-30) 7
  • 8. Einleitung und HintergrundHintergrundDas Kompetenzentrum für Neue Medien, „Salzburg NewMediaLab – The Next Ge-neration“, räumte im Rahmen seiner Forschungstätigkeit dem Thema „Annotatio-nen“ einen besonderen Stellenwert ein: Annotationen als Basis für semantischeSuche bildeten den Schwerpunkt des 2. Forschungsjahres (Juli 2011 bis Juni2012). Unter der Bezeichnung „Linked Media“ entwickelte das Kompetenzzen-trum seit 2010 Konzepte und Technologien für den Einsatz der vom World WideWeb Consortium (W3C) proklamierten Linked Data Prinzipen2 in der Medien- undContent-Industrie. Mit dem „Linked Media Framework“ (LMF3) wurde 2011 aucheine Referenzimplementierung für ein Toolset zur Verwaltung von Metadaten, In-halten und Annotationen nach den Prinzipien des W3C als Open Source Plattformbereitgestellt, die kontinuierlich weiterentwickelt und mittlerweile als Referenz-implementierung bei Apache Software Foundation (ASF 4) eingereicht wurde.Der Linked Media Ansatz erlaubt die Verwaltung von Ressourcen (Text, Videos,Metadaten, usw.) in einem standardisierten Format auf eine solche Weise, dassdiese mit weiterführenden Begriffen, Hintergrundinformation und Beschreibun-gen auf einfache Art verknüpft werden können. Beispielsweise können Fragmenteeines Videos mit den Biographien oder den Fotos der im Video vorkommendenAkteure verknüpft werden. Gleichermaßen können abgebildete Gegenstände undvorkommende Bildelemente mit weiteren Informationen innerhalb des Unterneh-mens verknüpft werden. Konkret wurde ein solches Verfahren für Red Bull MediaHouse GmbH5 entwickelt, um die in einem Video abgebildeten Athleten einesSport-Ereignisses mit der Athletendatenbank des Medienhauses zu verknüpfen.Dadurch erhalten die Redakteuren „auf Mausklick“ Hintergrundinformationen zuden Akteuren.Diese Art von semantischen Verknüpfungen bildet in der Medien- und Content-In-dustrie eine wesentliche Voraussetzung für die Einführung einer unternehmens-übergreifenden Suche: Sie erschließt unterschiedliche Informationssysteme und„Datensilos“ (beispielsweise die Mediendatenbank und die Athletendatenbank)und sie berücksichtigt die Bedeutung von Begriffen (beispielsweise „erkennt“ einsolches System, dass „Wien“ eine Stadt im Staat „Österreich“, oder eine bestimmtePerson Mitarbeiter/in in einem bestimmten Projekt ist).Das „Salzburg NewMediaLab – The Next Generation“ agiert als anwendungs-orientierte Forschungsplattform für die Medien- und Content-Industrie, indem esderartige Verfahren nicht nur konzeptionell bereitstellt, sondern die Unterneh-men bei der Einführung derartiger innovativer Technologien begleitet.2 Linked Data Principles: http://www.w3.org/DesignIssues/LinkedData.html (2012-10-31)3 Linked Media Framework (LMF): http://www.newmedialab.at/LMF (2012-10-31)4 Apache Software Foundation (ASF): http://www.apache.org/ (2012-10-31)5 Red Bull Media House GmbH: http://www.redbullmediahouse.com/ (2012-10-31)8
  • 9. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche ANNOTATIONEN: ENTSTEHUNG UND EINSATZAnnotationen6In der Wikipedia findet sich folgende Definition von „Annotation“: „Annotation be-deutet Anmerkung, Beifügung, Hinzufügung. In diesem Sinn haben Annotatio-nen bei Stichworten, Begriffsklärungen oder ausführlichen Texten den Charakterder Erklärung beziehungsweise Ergänzung. Annotationen halten Dinge fest, diezwar nicht als wesentlich für das Hauptstichwort oder den Haupttext erachtetwerden, aber wichtige Zusatzinformationen darstellen. Sie sind es immerhin wert,ausdrücklich festgehalten zu werden, und auf diese Weise erhalten die bezeichne-ten Inhalte einen Platz in der Ordnung des Ganzen, ohne die Struktur zu störenoder die Sinnlinie der Aussage zu unterbrechen.“ (Wikipedia, 2010) Abbildung 1: Handschriftliche Notizen und Annotationen. Quelle: http://rwtverio.ncte.org/lesson_images/lesson1132/AnnotationLarger2.GIF (15.3.2011)Die Entwicklung von papierbasierten zu digitalen AnnotationenNicht nur auf Papier, z.B. Notizen am Rand von Büchern, wird annotiert. Im WorldWide Web gibt es eine Vielzahl von Möglichkeiten, Texte und Webseiten oderauch Multimedia-Dateien wie Videos und Podcasts zu annotieren. Genau genom-men, kann alles, was im Web ein Pendant hat, z.B. auch Personen bzw. deren Ho-mepages oder Profile bei Facebook, annotiert werden.6 Bereits im Band 4 der Linked Media Lab Reports („Smarte Annotationen“) haben wir eine kurze Einführung zu Annotationen gegeben: vgl. Seite Schön u.a. 2011, S. 9f., eini - ge Abschnitte stammen im Folgenden von Dr. Andreas Strasser (Salzburg Research For- schugnsgesellschaft mbH). 9
  • 10. Annotationen: Entstehung und EinsatzDigitale Annotationen sind digitale Objekte, die an andere digitale Objekte „ange-hängt“ sind. Zunächst wurden papierbasierte Annotationsformen für die digitaleWelt adaptiert. Dokumente sind dabei mit Metainformationen versehen worden,die die Klassifikation von Inhalten bzw. die Indexierung und Abfrage von Inhaltenermöglicht haben. Zunächst wurde diese Form der Annotierung auf Text ange-wandt, später auch auf andere digitale Dokumente (z.B. eine Website, eine Bildbzw. ein Videostream). Annotationen können dabei sowohl ergänzende Informa-tionen zu einem Dokument für mich selbst darstellen (d.h. Annotationen erlaubenmir, die gegebene Information des Dokuments durch eigene zusätzliche Informa-tionen zu versehen), kann aber auch in kollaborativen Prozessen eingesetzt: d.h.Ideen und Meinungen zu gemeinsamen Dokumenten unterschiedlichster Art kön-nen ausgetauscht werden. (Hofman 2010, 12f).Im Mai 2012 fasste die Open Annotation Community Group 7 des World Wide WebConsortiums (W3C) eine Reihe von bedeutenden Vorarbeiten zur Spezifikationvon Annotationen zusammen und entwickelte mit dem Open Annotation CoreData Model8 ein Referenzmodell für die Annotation von (Web-)Ressourcen, des-sen Grundprinzip in der folgenden Abbildung dargestellt ist: Abbildung 2: Grundprinzip einer Annotation nach dem Open Annotation Core Model. Quelle: http://www.openannotation.org/spec/core/ (30.9.2012)Eine Annotation wird prinzipiell als eine Verbindung zwischen der annotiertenRessource („target“) und dem Inhalt der Annotation („body“) definiert. Die Ver-bindung bedeutet, dass der Inhalt der Annotation („body“, z.B. ein Kommentaroder eine Klassifikation) irgendwie mit der annotatierten Ressource („target“, z.P.7 Open Annotation Community Group: http://www.w3.org/community/openannotation/ (30.09.2012)8 Open Annotation Core Data Model: http://www.openannotation.org/spec/core/ (30.09.2012)10
  • 11. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheEiner Textstelle, einem Abschnitt eines Videos oder einem Ausschnitt eines Bil-des) zu tun hat.Das Open Annotation Core Data Model unterstützt über diese Grundprinzipienhinausgehend semantisches Tagging, das Einbetten von Inhalten, die Auswahl vonAusschnitten von Ressourcen, die Wahl geeigneter Repräsentationen von Res-sourcen und die Bereitstellung von Hinweisen zur Darstellung für die Nutzer vonAnnotationen. Das Modell ist gleichermassen offen gegenüber computer-gestütz-ten Auswertungen der Annotation und gegenüber Auswertungen durch Men-schen.Die wichtigsten Grundlagen für die Entwicklung des Open Annotation Core Mo-dels bildten die unter Apache 2.0 Lizenz verfügbare Annotation Ontology 9 und dieOpen Annotation Collaboration10. Eine Erweiterung dieses Grundmodells für Vi-deos, Audio und Bilder erfolgte durch die Media Annotation Working Group 11 derVideo in the Web Activity des W3C: Die Arbeiten dieser Gruppe umfassen die On-tology for Media Resources12 und eine Anwendungs-Programmierschnittstelle(API) für Medien Ressourcen13.Ziele der AnnotationEs gibt ganz unterschiedliche Motive, warum man Annotationen zu (Web-) Mate-rialien hinzufügt bzw. sie hinzufügen lässt. Im wesentlichen lassen sich dabei Ab-sichten der Anbieter entsprechenden Plattformen von denjenigen der Nutzer un-terscheiden.Anbieter von Medienarchiven oder Webmaterialien unterstützen und nutzen An-notationen vor allem– um die Recherche der Materialien zu verbessern,– um gute Empfehlungen für passendes eigenes weiteres Material zu geben,– um die Materialien intelligent mit externen Daten und Ressourcen verknüpfen zu können (z.B. mit dem Linked-Data-Ansatz),– um das Ranking auf Suchmaschinen zu verbessern,– um das unternehmensinterne Wissensmanagement zu verbessern und– um mit Methoden des Webmonitoring das eigene Material und dessen Entwick- lung beobachten und bewerten zu können.Aus Perspektive des einzelnen Nutzers ist die Annotation wichtig– für das eigene Informationsmanagement und– um Materialien für andere erschließbar zu machen, beispielsweise indem Fotos bei Facebook mit dem Namen von Kontakten versehen werden.9 Annotation Ontology: http://code.google.com/p/annotation-ontology/ (30.09.2012)10 Open Annotation Collaboration: http://www.openannotation.org/commRes.html (30.09.2012)11 Media Annotation Working Group: http://www.w3.org/2008/WebVideo/Annotations/ (30.09.2012)12 Ontology for Media Resources: http://www.w3.org/TR/2012/REC-mediaont-10-20120209/ (30.09.2012)13 API for Media Resources: http://www.w3.org/TR/2011/WD-mediaont-api-1.0-20111122/ (30.09.2012) 11
  • 12. Annotationen: Entstehung und EinsatzOb und wie einzelne Nutzer, beispielsweise bei Foto-Sharing-Angeboten ihre Fo-tos annotieren, hängt auch von der Art der Nutzung des Foto-Sharing-Angebotsab, also mit welchem Zweck sie es nutzen (Ames & Naaman, 2007). Wie sich zei-gen wird, entstehen Annotationen nicht zwangsläufig bewusst.Annotationsformen und -kombinationenEs gibt unterschiedliche Formen der Annotation. Im Folgenden werden einige da-von vorgestellt.Professionelle KlassifikationUm Texte recherchierbar zu machen, werden häufig Volltextsuchen eingesetzt.Dabei stößt man auf das Problem, dass man verwandte Begriffe oder Konzepte,die im Text bzw. den vorhandenen Annotationen nicht vorkommen, auch nicht re-cherchieren kann. Mit Hilfe von Terminologien (z.B. kontrollierten Vokabularenund Thesauri) werden Terme in Verbindung gebracht, so dass beispielsweise einText zu Skifahren dem Bereich „Sport“ zugeordnet werden kann. In traditionellenMedienarchiven werden Materialien zu Kategorien und Unterkategorien zugeord-net, welche häufig auch zusätzliche Kurzbeschreibungen und Schlagworte bein-halten. Ein Beispiel für eine mehrsprachige Taxonomie für den Nachrichtenbe-reich bilden die IPTC NewsCodes 14.Freie Verschlagwortung und Social TaggingIm Web hat sich ein Verfahren etabliert, das Nutzern ermöglicht, Webseiten oderandere Ressourcen (Bilder, Videos, Musikstücke) mit eigenen Schlagworten zumarkieren, sie zu „taggen“ (vom englischen. „tag“: Etikett). Mit Hilfe der Tags kön-nen Andere entsprechende Ressourcen recherchieren; schnell haben sich populä-re Webdienste entwickelt (vgl. Schaffert, Hilzensauer & Wieden-Bischof, 2009).Während die Erzeugung von traditionellen Metadaten eher einem ausgewähltenBenutzerkreis vorbehalten ist, sind beim Social Tagging potenziell alle Benutzerbeteiligt (Derntl et al., 2009). Es ist also „eine offene, effiziente Möglichkeit derKlassifikation von Dokumenten“, weil „eine breite Palette von unterschiedlichenTermen für die Beschreibung eines Dokuments bereitgestellt wird“ (Güntner, Sint& Westenthaler, 2009, 192). Die Grenzen dieses Ansatzes werden rasch etwa anden Herausforderungen der Mehrsprachigkeit (z.B: deutsch „Venedig“, englisch„Venice“) oder – ganz abgesehen von Schreibfehlern – an unterschiedlichen einge-bürgerten Schreibweisen (z.B. „Tchaikovsky“, „Tschaikovski“) deutlich.Automatische AnnotationNeben den von Personen durchgeführten Annotationen gibt es auch automatischgenerierte Annotationen. Dazu werden automatisch aus den Texten oder BildernInformationen generiert. Auch können die zahlreichen (Meta-) Informationen, die14 http://www.iptc.org/site/NewsCodes/ (28.08.2012)12
  • 13. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbrancheim Web anfallen und gesammelt werden, bei der Entwicklung von Annotationenberücksichtigt werden: Wie wird ein Beitrag bewertet, wir häufig wird er aufgeru-fen, wen interessiert eine Webseite?Kombination der AnsätzeNutzen Laien ein Kategoriensystem, sind sie mit den Fachkategorien und -aus-drücken der Experten oft überfordert. Dabei kann „die semantische Lücke zwi-schen den Autor/inn/en des kontrollierten Vokabular und dem Domänenwissender Anwender/innen zu Problemen führen“, diese werden als „Vocabulary Pro-blem“ bezeichnet (s. Güntner, Sint & Westenthaler, 2009, 192). Umgekehrt ist esoft auch notwendig Materialien, die noch nicht von Experten oder Laien annotiertwurden, automatisch mit Annotationen zu versehen um sie recherchierbar zu ma-chen. Wenn Systeme hingegen auf Social Tagging aufbauen, haben sie mit demKaltstartproblem zu kämpfen: Solange keine Tags vorhanden sind, sind die Doku-mente z. B. über entsprechende Suchfunktionen nicht auffindbar.Um zu ausreichenden und qualitativ besseren Ergebnissen zu kommen, werdendie drei Formen der Generierung von Metadaten oft kombiniert eingesetzt (s. Kittl& Zeidler, 2007): die automatische Generierung von Metadaten (durch Informati-onsextraktion) mit manuell erzeugten Metadaten durch Tagging oder Klassifikati-on.Annotationstypen im Multimedia-BereichFragt man einen Praktiker, lassen sich (zumindest) folgende Typen der Multime-dia-Annotationen unterscheiden:– Klassifikation: jede Art der Annotation, die ein Asset, also eine Medieneinheit ei- ner Gruppe zuordnet.– Beschreibung des Inhalts: Beschreibung (vor allem) von Audio- und Video-As- sets („was ist im Video zu sehen?“), aber auch von Text-Dokumenten („was ist der Inhalt des Dokuments?“).– Metadaten (Aufnahmeort, technische Spezifikation, Länge, etc.)– Kommentare (weitere Hinweise, Anmerkungen)Klassifikationen können dabei in verschiedenen Bereichen getroffen werden: z.B.bei Art eines Berichts (z.B. ein Interview, ein Live-Bericht, eine Dokumentation),oder z.B. die Sparte des Videos (z.B. Sport, Politik, Religion). Musikstücke werdenbeispielsweise nach Genre eingeteilt (z.B. Klassik, Pop, Rock), können aber auchnach Epoche (z.B. Klassik, Romantik, Moderne) kategorisiert werden oder auchnach Anwendungszweck (z.B. Kirchenmusik, U-Musik).Bei der Beschreibung des Inhalt lassen sich u.a. die Objekt-Ebene (was/wer ist zusehen) sowie die Inhalts-Ebene (worum geht es) unterscheiden. 13
  • 14. Annotationen: Entstehung und EinsatzWeiters unterscheiden wir nach Ossenbruggen, Stamou und Pan (2005) drei An-notationsebenen:– Rohdaten, beispielsweise die MPEG-3- oder JPG-Daten, also die reinen Multime- dia-Daten– strukturelle Beschreibungen, beispielsweise mit XML oder MPEG-7, also struk- turierte Informationen zu den Rohdaten sowie– semantische Beschreibungen, beispielsweise in RDF, OWL oder Regeln beschrie - ben.Ossenbruggen et al. (2005) bezeichnen diese Ebenen dabei als subsymbolische,symbolische bzw. logische Schichten und weisen darauf hin, dass sie technolo-gisch nicht trennscharf realisiert werden.Die Handelnden: AnnotierendeZwar ist der Begriff der Annotation einschlägig bekannt, beim Schreiben diesesLab Reports ist uns jedoch aufgefallen dass es – zumindest im Deutschen – bisherkeine einheitliche Bezeichnung für die Person gibt, die eine Annotation macht. Soverwendete unsere Autorinnen und Autoren auch unterschiedliche Begriffe, u.a.„Annotateure“, „Annotierer“ und „Annotator“. Auch wir konnten und wollten unsnicht festlegen. Und natürlich sind gleichermaßen Frauen und Männer gemeintwenn wir im Folgenden einen der Bezeichnungen verwenden.14
  • 15. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche QUALITÄT VON ANNOTATIONEN UND IHRE ROLLE FÜR DIE MEDIEN- BRANCHEWas macht nun eine qualitativ hochwertige Annotation von Medienressourcenaus? Und welche Rolle spielt diese Qualität für die Medienbranche?Rolle von Annotationen in der MedienbrancheUm die Frage nach qualitativ guten Annotationen beantworten zu können, ist zu-nächst wichtig zu klären, wie und warum in der Medienbranche mit Annotationengearbeitet wird. Sie nutzt Annotationen unter anderem– für das eigene Informationsmanagement,– um die Recherche der Materialien zu verbessern,– um Materialien für andere erschließbar zu machen,– um gute Empfehlungen für passendes eigenes weiteres Material zu geben,– um die Materialien intelligent mit externen Daten und Ressourcen verknüpfen zu können (z.B. mit dem Linked-Data-Ansatz), oder auch– um mit Methoden des Webmonitoring das eigene Material und dessen Entwick- lung beobachten und bewerten zu können.Annotationen sind damit mittelbar in der Medienbranche dafür verantwortlich,dass zum Beispiel (vgl. ARD, ORF & ZDF, 2008):– der eigene Absatz oder Verkauf gesteigert werden kann (zum Beispiel von eige- ne Bildern oder Videos),– der eigene Service verbessert werden kann (wenn z.B. Redakteure nicht lange auf gewünschte Bilder und Videosequenzen warten müssen),– redaktions- bzw. anstaltsübergreifende Recherchen möglich sind,– Entscheidungen darüber getroffen werden können, welche Materialien langfris- tig archiviert werden sollen und welche nicht,– es durch (kreative) Recherche und Wiederverwendung von Materialien zu Ein- sparungen bei der Produktion kommt und– das kulturelle Erbe gesichert wird (v.a. im Falle der öffentlichen Rundfunks).Qualität von AnnotationWie lässt sich nun genau die Qualität von Annotationen beschreiben?Annotationen sollten ganz allgemein (vgl. Schön, Kurz u.a., 2011, S. 30) wesentli-che Inhalte und Konzepte erfassen, detailliert sein, nicht (zu) allgemein sein undeine Ressource möglichst genau und eindeutig beschreiben. 15
  • 16. Qualität von Annotationen und ihre Rolle für die MedienbrancheDie Qualität der Annotation lässt sich dann u.a. durch eine hohe Übereinstimmungder Annotation durch mehrere Expertinnen bestimmen, aber auch durch eindeuti -ge Zuordnungen der Annotationen auf bestimmte Ressourcen. Es geht also ab-strakt um eine möglichst hohe Konsistenz, also Stimmigkeit der Annotation (undRessource). Darüberhinaus kann bzw. muss sich die Qualität von Annotationenauch häufig in der Nutzung, z.B. für die Recherche von Ressourcen, beweisen, sodass auf einmal auch Nutzer/innen über die Brauchbarkeit der verwendeten An-notationen mitentscheiden. Diese Qualitätsbeschreibungen beinhalten so aucheinen Ansatz, wie die Qualität geprüft und gesichert werden kann.Schließlich kann es wichtig sein, dass auch die Annotationen im hohen Maße ver-trauenswürdig sind. Sofern man davon ausgeht, dass die Ressourcen von Profis,z.B. Archivaren annotiert wurden, kann man Vertrauenswürdigkeit ohne Weiteresvoraussetzen. Problematisch und weniger selbstverständlich ist dies jedoch beiDaten die von externen Quellen hinzugezogen werden (z.B. Informationen aus derWikipedia genutzt werden). Dies trifft insbesondere für den Linked-Data-Ansatzzu, wenn Daten oder Annotationen von Nutzer/innen miteinbezogen werden. Ver-trauenswürdigkeit (engl. „trust“) ist dabei nicht notwendigerweise ein Garant da-für, dass etwas fehlerfrei ist, sollte aber auf möglichst korrekte Annotationen füh-ren lassen (vgl. Ceolin u.a., 2010; Ceolin u.a., 2012).Kriterien nach AnnotationstypBetrachtet man die unterschiedlichen Typen von Annotationen zeigt sich, dasshier jeweils unterschiedliche Aspekte auf ihre Qualität hinweisen. Folgende Tabel-le zeigt dies exemplarisch an den bereits vorgestellten Annotationstypen. Klassifikation Vollständigkeit: Wurden bei allen möglichen Klassen gewählt? Genauigkeit/Präzision/Granularität: Wurde auf möglichst „tiefen“ Abstufun - gen geachtet? Korrektheit: Wurden richtige Klassen gewählt? Beschreibung des Inhalts Relevanz: Wurden relevante Inhalte beschrieben? Korrektheit: Wurden Inhalte richtig beschrieben? Metadaten Vollständigkeit: Sind alle Metadaten vorhanden? Genauigkeit: Wie genau sind diese erfasst? Korrektheit: Wurden die Metadaten exakt erfasst? Kommentare Relevanz: Wurden relevante Kommentare abgegeben? Korrektheit: Sind die Kommentare zutrefend? Tabelle 1: Annotationstypen und QualitätskriterienDie Übersicht zeigt, dass unter Umständen unterschiedliche Kriterien herangezo-gen werden müssen um die Qualität von Annotationen zu bewerten.16
  • 17. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche DER PROZESS DER ANNOTATION UND ANSATZMÖGLICHKEITEN DER QUALITÄTSSICHERUNGDer Prozess der Annotation: Beteiligte und RahmenbedingungenUm ein besseres Bild davon zu erhalten, wo Qualitätssicherungsmaßnahmen an-greifen können, müssen sich Prozesse der Annotation genauer betrachtet werden.In Abbildung 3 werden dazu einige wesentliche Rahmenbedingungen und Betei-ligte dargestellt und im folgenden skizziert: Abbildung 3: Annotationsbeteiligte und -rahmenbedingungen für QualitätssicherungsmaßnahmenWerden Medienressourcen, z.B. Bilder oder Videos in einem Medienunternehmenannotiert, sind folgende Beteiligte und Rahmenbedingungen zu nennen: A) Zunächst gibt es im Unternehmen Konventionen zur Annotation, z.B. wer- den bestimmte Metadaten verwendet oder Taxonomien, auch unterneh- menseigene Entwicklungen. Auch gibt es Routinen und Prozesse, auf wel- che Weise Ressourcen im Unternehmen gespeichert, erfasst und annotiert werden, z.B. Zuständigkeiten, auch ausgewiesene Qualitätssicherungs- strategien (z.B. doppelte Annotation) können hier darunter fallen. B) Dann sind die Systeme, in denen die Ressourcen gespeichert und/oder be- schrieben werden und ihre Möglichkeiten und Vorgaben der Annotation wesentlich. Einige Systeme beinhalten z.B. Empfehlungssysteme für Anno- tationen oder unterstützen die Qualitätssicherung der Annotation durch entsprechende Kennzeichnung von Materialien. C) Die Ressource selbst ist ebenso wichtig im Prozess der Annotation: Um welches Medienprodukt handelt es sich? Welche Bedeutung hat es im Un- ternehmen? Welchen Zweck erfüllt es, soll es erfüllen? Zur Annotation 17
  • 18. Der Prozess der Annotation und Ansatzmöglichkeiten der Qualitätssicherung von Videos gehört beispielsweise auch die sinnvolle Segmentierung der Videos in kürzere Abschnitte (z.B. mit der Keyframe-Methode oder einer automatischen Szenenerkennung). D) Der Ersteller einer Ressource ist in der Regel derjenige, der erste grobe Annotationen vornimmt oder überträgt, z.B. die Metadaten zu den Auf- nahmen (Bildgröße, Videolänge, Belichtungseinstellungen etc.). Auch wer- den zum Beispiel Videos mit groben Daten wie Aufnahmedatum, Ort, Zweck, Beteiligte versehen. E) In Medienfirmen gibt es in aller Regel (semi-) professionelle Archivare. Diese sind entsprechend ausgebildet und wurden in der Regel unterneh- mensintern geschult. F) Nutzer/innen von Ressourcen sind in zweierlei Hinsicht interessant: Zum einen sorgen sie direkt (z.B. durch Tagging) und indirekt (z.B. durch ihr Such- und Nutzungsverhalten) für eine Erweiterung der Annotationen ei- ner Ressource. Gleichzeitig können ihre Erwartungen, Erfahrungen und Verbesserungsvorschläge sowie ihr Verhalten auch bei der Qualitäts- sicherung eingesetzt werden.Diese Darstellung ist allgemein und abstrakt – je nach spezifischem Anwendungs-fall und Annotationsform gibt es hier Besonderheiten, auf die im Folgenden in denBeispielen auch eingegangen wird. So können beispielsweise Videos auch kollabo-rativ annotiert werden (u.a. Hofmann u.a., 2009).Ursache von QualitätsmängelnBei der Annotation können eine Reihe von Fehler auftreten, dabei sind unter an-derem die eigentümliche (fehlerhafte) Interpretation von Kategorien, Antwort-tendenzen, aber auch Faktoren wie Motivation oder Ermüdungserscheinungen zunennen (Staab, Maedche & Handschuh, 2001). Darüberhinaus können auch dieverwendeten Klassifikationsschema ungeeignet oder inkonsistent sein.Die skizzierten Einflussfaktoren und auch ihre Wechselwirkungen sind jedochauch deshalb nicht eindeutig zu benennen, „da sie von den jeweiligen Merkmalender Annotierer, des Schemas und der Objekte abhängen (vgl. auch Spiegelman,Terwilliger, & Fearing, 1953). Erschwerend kommt hinzu, daß Untersuchungen zusolchen Einflußfaktoren und ihrer Wirkung auf die Reliabilität (Anm. der Heraus-geber: „Übereinstimmung“) manueller Annotationen bislang kaum existieren. IhreKontrolle und da- mit eine systematische Qualitätssicherung von Annotationen istsomit nur eingeschränkt möglich. Anstrengungen in diesem Bereich müssen sichdemnach im wesentlichen auf den Nachweis einer ausreichenden Annotations-qualität beschränken“ (Bayerl, 2003)18
  • 19. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheQualitätssicherungVersuche und Ansätze, qualitativ hochwertige Dienstleitungen und Produkte zuerhalten und dies zu „sichern“ sind Verfahren der Qualitätssicherung und damitallgemeiner dem Qualitätsmanagement zu zuordnen. Maßnahmen zur Sicherungder Qualität von Annotationen können dabei ganz unterschiedlich gestaltet wer-den.Allgemein gibt es in unternehmerischen Kontext mehrere Verfahren und Vor-schläge, wie Qualitätssicherung betrieben werden kann. Weit verbreitet sind hierdie entsprechenden ISO-9000-Normen (Fuchs, 2006, 58f).Qualitätsmanagement nach ISO-9000Seit 1985 beschreiben diese Normen der „International Organization for Standar-dization“ (ISO) Formen, Vorgehen und Methoden des Qualitätsmanagements. Dievier Hauptabschnitte zu Qualitätsmanagement (ISO 9001:2000-12) tragen die Ti-tel Verantwortung der Leitung, Management von Ressourcen, Produktrealisie-rung, sowie Messung, Analyse und Verbesserung und werden in einem Modell ei-nes prozessorientierten Qualitätsmanagementsystems beschrieben. Zwei Regel-kreise des prozessorientierten Qualitätsmanagementsystems verbinden diese vierBereiche (vgl. Becker, 2005, S. 35; Fuchs, 2006, 59). Der erste wird durch die Be-wertung des Managements als kontinuierliche Verbesserung geschlossen, derzweite bezieht Kundenanforderungen, die Umsetzung der Produkte (bzw. Dienst-leistungen) sowie Kundenzufriedenheitsmessungen ein (vgl. Abbildung 4). Abbildung 4: DIN EN ISO 9001:2000-12 – Modell eines prozessorientierten Qualitätsmanagementsystems Quelle: nach http://www.tqm.com/methoden/din-en-iso-9001 (10.11.2011) 19
  • 20. Der Prozess der Annotation und Ansatzmöglichkeiten der QualitätssicherungAus diesem Modell des Qualitätsmanagements lässt sich ableiten, dass „interes-sierte Parteien“ eine wichtige Rolle im Qualitätsmanagement spielen. Im Falle derAnnotationen sind das Nutzer/innen der Annotationen: Welche Forderungen angute Annotationen haben sie? Wie zufrieden sind sie mit den Annotationen? Wiehier ständig Verbesserungen erreicht werden können, ist allgemein die Aufgabedes Qualitätsmanagements.Ausgewählte ISO-Normen für Qualitätssicherung in der MedienbrancheFür Unternehmen in der Medienbranche gibt es eine Reihe von konkreten ISO-Normen die den Umgang mit Medienressourcen beschreiben. Immer wieder tau-chen hier auch Aspekte der Annotation auf. Beispiele dafür sind:– ISO 6199 zu Mikrofilme, „information required to facilitate identification of the microfilm“15,– ISO 15930-1 bis -8: Eigenschaften von pdf-Dateien als Druckvorlagen 16, z.B. zur Vollständigkeit der Angaben für den Druck und– ISO/IEC 18019: Guidelines for the design and preparation of software user do- cumentation17.Ansatzmöglichkeiten zur Qualitätssicherung von AnnotationenIm Folgenden betrachten wir, wie Qualitätssicherungsstrategien im Bezug auf dieQualität von Annotationen aussehen können. Diese lassen sich zunächst aus demvorgestellten Annotationsprozessen sowie dem Qualitätsmanagement ableiten.Das „Produkt“ sind in unserem Fall annotierte Assets bzw. Medienressourcen. Fol-gende Matrix zeigt unterschiedliche Ansatzmöglichkeiten und Fragestellungen,die man sich im Rahmen der Qualitätssicherung der Annotation stellen kann (Ta-belle 2).Merkmale, nach denen hier jeweils entsprechende Lösungen oder Verfahren ent-wickelt werden, sollten sich an den Kriterien für gute Annotationen, also der Qua-lität von Annotationen richten. Gleichzeitig hat die Qualitätssicherung bzw. dasdamit verbundene Qualitätsmanagement auch weitere wichtige Kriterien für dieAuswahl von Verfahren und relevanten Entscheidungen, diese sind beispielsweiseEffektivität, Effizienz, die Höhe des Ressourceneinsatz bzw. -aufwand,Aufwands-/Ertrag-Relation und verschiedene eher betriebswirtschaftliche Aspek-te (vgl. „Management der Mittel“ in Abbildung 4, S. 19).15 http://www.iso.org/iso/iso_catalogue/catalogue_tc/catalogue_detail.htm? csnumber=27582 (2011-11-09)16 http://de.wikipedia.org/wiki/PDF/X (2012-05-03)17 http://www.usabilitynet.org/tools/r_international.htm (2012-07-23)20
  • 21. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche Verbesserung des Prozess der Qualitätsmanage- Annotation Annotation ment rund um das Annotieren Wie lässt sich der Pro- Wie lässt sich die Anno- Wie lässt sich das Quali-Annotationskon- zess der Annotation tation durch Annotati- tätsmanagement durch durch Annotationskon- ventionen und onskonventionen und Annotationskonventio- ventionen und Prozess- -prozesse Prozessgestaltungen ver- nen und -prozesse ver- gestaltungen verbes- bessern? bessern? sern? Wie lässt sich der Pro- Wie lässt sich das Quali- Wie lässt sich die Anno- Annotations- zess der Annotation tätsmanagement durch tation durch Annotati- systeme durch Annotationssyste- Annotationssysteme ver- onssysteme verbessern? me verbessern? bessern? Wie lässt sich der Pro- Wie lässt sich das Quali- Wie lässt sich die Anno- zess der Annotation im tätsmanagement der An- Medienasset/ tation im Hinblick auf die Hinblick auf die zu anno- notationen im Hinblick Ressource tierende Ressource ver- zu annotierende Res- auf die Ressourcen ver- source verbessern? bessern? bessern? Wie lässt sich der Pro- Wie lässt sich das Quali- Wie lässt sich die Anno- zess der Annotation im tätsmanagement der An- Ersteller einer tation im Hinblick auf die Hinblick auf die Ersteller notationen im Hinblick Ressource Ersteller von Ressourcen von Ressourcen verbes- auf die Ersteller von Res- verbessern? sern? sourcen verbessern? Wie lässt sich das Quali- Wie lässt sich der Pro- Wie lässt sich die Anno- tätsmanagement der An- Annotator zess der Annotation im tation im Hinblick auf die notationen im Hinblick ggf. Archivar Hinblick auf die Annota- Annotatoren verbess- auf die Annotatoren ver- toren verbessern? ern? bessern? Wie lässt sich der Pro- Wie lässt sich das Quali- Wie lässt sich die Anno- zess der Annotation im tätsmanagement der An- Nutzer/innen tation im Hinblick auf die Hinblick auf die Nutzer/- notationen im Hinblick der Ressourcen Nutzer/innen der Res- innen der Ressourcen auf die Nutzer/innen der sourcen verbessern? verbessern? Ressourcen verbessern?Tabelle 2: Ansatzmöglichkeiten und Fragestellungen für Qualitätssicherung bei der Annotation (Beispiele) 21
  • 22. Der Prozess der Annotation und Ansatzmöglichkeiten der Qualitätssicherung„Soziale“ und „technische“ Qualitätssicherungsmaßnahmen im ÜberblickFür die nun folgenden Übersicht von Qualitätssicherungsmaßnahmen haben wirzum einen (eher) „soziale“ Maßnahmen zusammengestellt um in einem weiterenKapitel „technische“ Maßnahmen vorzustellen. Die folgende Übersicht zeigt dieeinzelnen Maßnahmen, die in der Literatur oder in Gesprächen, oft nur exempla-risch, ausgeführt anhand der oben eingeführten wichtigen Aspekten der Anntota-tion (vgl. Tabelle 3). „soziale“ „technische“ Qualitätssicherungsmaßnahmen Qualitätssicherunsmaßnahmen (a) Entwicklung von Klassifikationsschemas und Regelwerken (a) Unterstützung bei der Erstellung und Annotations- (b) Überprüfung des Klassifikationsschemas beim Management von Kategoriensche- konventionen auf Konsistenz mas (Taxonomien) und -prozesse (c) Doppelte und mehrfache Annotation (b) Steuerung des Annotationsprozess (c) Vergleich der Annotationen und Bereini- Annotations- gung bei Mehrfach-Annotation [siehe rechts] systeme (d) Qualitätsprüfung mit Hilfe automati- scher Annotationen (e) Monitoring des Annotationsprozess Medienasset/ (f) Qualitätssicherung mit und von (semi-) [keine Vorschläge vorhanden] Ressource automatischen Annotationen Ersteller einer [keine Vorschläge vorhanden] [keine Vorschläge vorhanden] Ressource (d) Schulung von Kategorienschemas und Annotationstrainings (e) Überprüfung der Anwendung von Klassi- Annotator fikationsschemas (g) Einsatz von Empfehlungssystemen für ggf. Archivar (f) Entwicklung und Einsatz eines Prüfkor- Annotationsvorschläge pus für Annotatoren (g) Zusammenarbeit von Archivaren und Kunden/Nutzern (h) Visualisierung der Vertrauenswürdigkeit (h) Erhebung der Kunden/Nutzerbedürfnis- von Annotationen und Tags Nutzer/innen se und -zufriedenheit (i) Unkonventionelle Lösung: Spielbasierte der Ressourcen (i) Erhebung des Nutzerverhaltens Ansätze zur Qualitätsprüfung (j) Qualitätssicherung durch Nutzer/innen Tabelle 3: Übersicht über „soziale“ und „technische“ Qualitätssicherungsmaßnahmen bei der AnnotationIm Vergleich mit der Übersicht in Tabelle 2 (s. S. 21) fällt auf, dass zum Aspekt Me-dienasset/Ressource bzw. Ersteller einer Ressource keine spezifischen Qualitäts-sicherungsmaßnahmen recherchierbar waren. Es ist anzunehmen, dass es hier je-doch in der Archivpraxis Konventionen und Prozesse gibt, die hier im Bezug aufdie (spätere) Annotation von Belang sind.22
  • 23. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche SOZIALE PROZESSE DER QUALITÄTSSICHERUNGIn diesem zweiten Abschnitt beschreiben wir Qualitätssicherungsaktivitäten, dieüberwiegend „soziale“ Aspekte, also Aspekte im Bezug auf die beteiligten Perso-nen betreffen, in Abgrenzung zu den anschließend behandelten technischen Sys-temen und Lösungen. Natürlich ist diese Unterteilung nicht immer trennscharf, daja Nutzer/innen die Systeme bedienen und dass die Systeme manchmal auch nursoziale Prozesse unterstützen und steuern. Dennoch zeigt diese Betonung von so-zialen Prozessen, dass zur Qualitätssicherung von Annotationen nicht nur „techni-sche Lösungen“ führen, sondern dass diese eben oft nur unterstützen.(a) Entwicklung von Klassifikationsschemas und RegelwerkenUm die die Qualität von Annotationen zu erhöhen bzw. zu sichern, werden in derMedienbranche Klassifikationsschema entwickelt oder eingesetzt. Die Materialienkönnen dann Kategorien und Unterkategorien zugeordnet werden, welche häufigauch zusätzliche Kurzbeschreibungen und Schlagworte beinhalten.Solche Schemas werden auch als Taxonomien bezeichnet. Ein Beispiel für eine Ta-xonomie aus der Biologie zeigt die folgende Tabelle 4. Deutsch Latein bzw. Altgriechisch Beispiel Reich Regnum Vielzellige Tiere Abteilung / Stamm Divisio / Phylum Chordatiere Unterstamm Subphylum Wirbeltiere Klasse Classis Säugetiere Ordnung Ordo Raubtiere Überfamilie Superfamilia Katzenartige Familie Familia Katzen Unterfamilie Subfamilia Kleinkatzen Gattung Genus Altwelt-Wildkatzen Art Species Wildkatze Unterart Subspecies Hauskatze Tabelle 4: Beispiel für eine Taxonomie – Auszüge aus der Biologie Quelle: http://de.wikipedia.org/wiki/Taxonomie (9.9.2011)In Unternehmen und Medienarchiven werden dazu häufig eigene Taxonomien fürdie eigene Bedürfnisse der Annotation und der Nutzung der Daten entwickelt. DieEntwicklung eines Klassifikationsschemas wird als eine wesentliche Maßnahmezur Qualitätssicherung der Annotation betrachtet.Das „Regelwerk Mediendokumentation“ von ARD, ORF und ZDF (2008) ist ein gu-tes Beispiel für ein branchenweites Regelwerk der Beschreibung von Medienin-halten, in diesem Falle von Fernsehproduktionen. Immer wieder überarbeitet undso konzipiert, dass Archive auch auf Entwicklungen in der Fernsehproduktion 23
  • 24. Soziale Prozesse der Qualitätssicherung(neue Formate, Genre, Technologien) eingehen können werden hier Elemente derFormalbeschreibung sowie die Bestandteile der Inhaltswiedergabe beschriebenbzw. festgelegt. Durch die Verwendung des Regelwerks werden auch archivüber-greifende Recherchen möglich. Das Regelwerk wird auch in vielen privaten Fern-sehproduktionsstätten eingesetzt.Ergänzend werden häufig auch Metadatenformate verwendet. Metadaten einesBuches sind beispielsweise die Autorennamen, die ISBN, der Verlag, der Erschei-nungsort. Metadaten sind im Gegensatz zu Webseiten meist strukturierte Datenund daher vom Computer weiterverwendbar. Im Internet bzw. der Informatikwerden solche „Daten über Daten“ als Metadaten bezeichnet, die jedoch ganz un-terschiedliches beinhalten. Um einen geregelten Austausch von Daten in einemAnwendungsbereich zu verbessern oder zu erleichtern, hat man sich in vielen Be-reichen, auf genau beschriebene Metadatenformate geeinigt. Treiber dieser Be-strebungen sind vor allem Archive, welche verbunden mit der Digitalisierung ih-rer Bestände auch den Austausch ihrer Daten über Publikationen ermöglichenund vereinfachen wollten (z. B. mit Dublin Core). In der Nachrichtenindustriemacht vor allem der Zeitdruck einen reibungslosen Austausch von Nachrichtenden Einsatz von Metadatenformaten wie NewsML, der bereits erwähnten IPTCNewCodes und EXIF erforderlich. Beim Web 2.0 und den sozialen Netzwerkensteht die Vernetzung der Community im Vordergrund (z. B. FOAF, SIOC). Sche-ma.org18 ist das Ergebnis einer Vereinigung von Suchmaschinen-Herstellern undverfolgt das Ziel, Schemas für die Auszeichnung von Web-Seiten auf eine solcheArt und Weise bereitzustellen, dass Suchmaschinen den Inhalt besser interpretie-ren (und durchsuchen) können. Dieser Ansatz fällt unter die Gruppe der „Micro-data“-Ansätze zur Anreicherung bzw. Auszeichnung von Web-Ressourcen mit se-mantischen Informationen. Die Open Annotation Collaboration (OAC) Group 19 un-terstützt die Entwicklung eines Ressourcen-zentrierten Annotationsumfelds fürdas Word Wide Web und hat mit den Open Annotation Core Data Model 20 im Mai2012 ein grundlegendes Schema für die Annotation von Ressourcen vorgestellt.Eine Befragung der Semantic Web Company, an der sich mehr als 150 Personenaus 27 Ländern beteiligten, zeigt, dass der Einsatz von unternehmensinternenThesauri verbreitet ist (vgl. Abbildung 5): Demnach wird bei rund 86 Prozent derBefragten eine Taxonomie eingesetzt, bei 39 Prozent sogar schon mehr als 10 Jah-re lang.18 http://schema.org/ (28.08.2012)19 http://www.openannotation.org/ (28.08.2012)20 http://www.openannotation.org/spec/core/ (28.08.2012)24
  • 25. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche Abbildung 5: Einsatz von Taxonomien in Unternehmen und seien Dauer. Befragungsergebnisse (N=158) Quelle: Kondert, Schandl & Blumauer (2011)(b) Überprüfung des Klassifikationsschemas auf KonsistenzBevor ein Klassifikationsschema übernommen bzw. eingeführt wird sollte es aus-reichend getestet werden. Sind alle notwendigen Kategorien und Begriffe enthal-ten? Gibt es Inkonsistenzen? Fehlen Erklärungen? Testweise sollten Dokumentevon mehreren gleichzeitig annotiert werden und diese Annotationen verglichenwerden: Abweichungen können auch an den unzureichenden Erläuterungen undDefinitionen des Klassifikationsschemas liegen.(c) Doppelte und mehrfache AnnotationEine Möglichkeit, die Qualität der Annotationen zu sichern, besteht darin, die An-notationen doppelt oder mehrfach durchführen zu lassen – durch die gleichenPersonen oder durch weitere Personen. Auch können zusätzlich (für den Ver-gleich) auch automatische Annotationen verwendet werden und Übereinstim-mungen bzw. Abweichungen mit den Annotationen kontrolliert werden.(d) Schulung von Kategorienschemas und AnnotationstrainingNun genügt es natürlich nicht, ein Kategorienschema zu entwickeln: Jede/r, derAnnotationen damit vornimmt muss darin entsprechend geschult sein um mög-lichst gute Annotationen zu liefern. Eine Maßnahme der Qualitätssicherung sindalso Schulungen und Annotationstrainings.Diese werden über mehrere Wochen hinweg, häufig in Zusammenarbeit mit Ex-perten durchgeführt, indem Dokumente gemeinsam oder auch einzeln annotiertwerden. Während des Trainings können so auch aufkommende Probleme geklärtwerden (vgl. Bayerl, 2003).(e) Überprüfung der Anwendung von KlassifikationsschemasDie Anwendung des Klassifikationsschemas kann dabei in dreifacher Weise über-prüft werden (Bayerl, 2003): „Aussagen zur Qualität manueller Annotationenmüssen getroffen werden hinsichtlich: 25
  • 26. Soziale Prozesse der Qualitätssicherung– Anwendung des Schemas im Sinne des vorgegebenen Standards– Übereinstimmung in der Anwendung des Schemas zwischen Annotierern (inter- individuelle Konsistenz)– Konsistenz eines Annotierers über die Zeit (intraindividuelle Konsistenz)“So lässt sich unter anderem bewerten, ob eine „eindeutige, konsistente Zuordnungvon Objekten in die Klassen des Schemas möglich ist“ (Bayerl, 2003). Dazu emp-fiehlt Bayerl (2003) die Verwendung eines Klassifikationsschemas durch ver-schiedene Personen für jeweils identische Objekte. „Erreichen diese eine überein-stimmende Zuordnung der Objekte kann davon ausgegangen werden, daß dasSchema seinen Zweck der eindeutigen, wiederholbaren Klassifizierbarkeit vonObjekten erfüllt (wobei hiermit allerdings noch keine Aussage über die Sinnhaftig-keit der Kategorien und Zuordnungen, d. h. die Validität des Schemas getroffenist)“.Zusätzlich kann mit einem solchen Vergleich der Übereinstimmung mehrerer An-notatoren deren interindividuelle Konsistenz geprüft werden. Von Zeit zu Zeit er-scheint es auch sinnvoll, die Übereinstimmung der Annotationen bei gleichen An-notatoren zu überprüfen.Bei diesen Überprüfungen wird in aller Regel die Übereinstimmung (Reliabilität)als ungewichtetes Kappa (nach Cohen, 1960) berechnet. Liegt der Wert von Kappaüber 0,75 wird dies in aller Regel als ausreichend betrachtet (Landis & Koch,1977, vgl. Bayerl, 2003). Allerdings ist diese Betrachtung nicht unproblematisch –so können die Übereinstimmungen auch auf der Verwendung allgemeiner Kon-zepte und Kategorien beruhen, auch ist dadurch nicht klar, welcher von zwei An-notatoren besser annotiert.Auch wenn Kontrollmechanismen wie der Vergleich mit einer automatischen An-notation oder eine doppelte Annotation mit einem zweiten Annotierer durchge-führt werden, hängt erwartungsgemäß und auch empirisch bestätigt die Qualitätund die Effektivität der Ergebnisse maßgeblich von den Erfahrungen und Qualifi-kationen der Annotierer ab (vgl. Crystal u.a., 1999).(f) Entwicklung und Einsatz eines Prüfkorpus für AnnotatorenFür das Training des Kategorienschemas und der Annotation wird die Entwick-lung eines Prüfkorpus empfohlen. Dazu werden Ressourcen gewählt und von min.zwei Annotatoren annotiert, und deren Übereinstimmung geprüft. Er kann beientsprechender Überprüfung auch den Rang eines „Goldstandards“ erhalten.Fragen aus dem Goldstandard können wiederum zur Kontrolle und zum Trainingvon Annotatoren eingesetzt werden, beispielsweise bei der Annotation von Bil-dern (Sorokin & Forsyth, 2008). Routinierte Annotatoren werden dabei „zwi-schendurch“ zur Überprüfung und aus Trainingszwecken Elemente des Prüfkor-pus vorgelegt um dann die Übereinstimmung auszuwerten und auch um Feedback26
  • 27. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranchezu geben. Oleson u.a. (2011) haben dies beispielsweise zur Qualitätssicherung beiAnnotationen mit Crowdsourcing-Angeboten gemacht.(g) Zusammenarbeit von Archivaren und Kunden/NutzernBeim ORF werden Archivare wochenweise in Fachredaktionen platziert, arbeitenalso unmittelbar und räumlich nahe mit den Kollegen zusammen, um gezielt mitden Denkweisen und Bedürfnissen der Kunden konfrontiert zu werden.(h) Erhebung der Kunden/Nutzerbedürfnisse und -zufriedenheitAuch Nutzerbefragungen sind eine Option. Sie dienen nicht nur der Qualitätssi-cherung der Annotation, die sich ja durch die Nutzer/innen definiert, sondernkann auch ein Aspekt der Kundenzufriedenheit sein. Hierbei werden Nutzer/in-nen dazu befragt wie zufrieden sie mit den Rechercheergebnissen sind, wenn siebeispielsweise folgendes erledigen:– Suche nach Stock-Images/Videos für einen Bericht.– Suche nach einem bestimmten Dokument.– Suche nach allen Beiträgen zu einem Thema.Es ist dabei ggf. zu überprüfen, wie häufig ist solche Anwendungsfälle überhauptsind bzw. welche Bedürfnisse Nutzer/innen überhaupt haben.Eine weitere Fragestellung ist generell, welche Anforderungen eine Annotation er-füllen muss. Neben der späterer Suche (Auffindbarkeit) können das z.B. auch Hin-weise zur bisherigen Verwendung einer Ressource sein. In einem Workshop desSalzburg NewMediaLab – The Next Generation im Mai 2011 wurde darauf auf-merksam gemacht, dass es Redakteure, wenn sie beispielsweise eine Landschafts-aufnahme suchen, nicht unbedingt eine Videosequenz erhalten wollen, die schonsehr oft von Kollegen gefunden bzw. ausgewählt wurde.(i) Erhebung des NutzerverhaltensKonkret auf die Annotation bezogen sollte auch der Frage nachgegangen werden,inwiefern sich das Beschlagwortungssystem der Experten mit dem des End-An-wenders deckt und zusammenpasst, sofern es nicht dieselben Personen sind. Ne-ben Befragungen können auch Log-Dateien hier zur Auswertung hinzugezogenwerden (Wonach suchen Nutzer/innen? Was finden sie/ was finden sie nicht?). 27
  • 28. Soziale Prozesse der Qualitätssicherung28
  • 29. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche TECHNOLOGISCHE UNTERSTÜTZUNG DER QUALITÄTSSICHERUNGIm diesem Abschnitt wird gezeigt, wie Technologien die Qualitätssicherung vonder Annotationsprozesse unterstützen. Dabei greifen wir einige Aspekte auf, diebereits im vorherigen Abschnitt konzeptionell beschrieben wurden und illustrie-ren hier auch mit Hilfe von konkreten Screenshots von Produkten, wie sie unter-stützt werden.(a) Unterstützung bei der Erstellung und beim Management von Kategori-enschemas (Taxonomien)Bei der Erstellung eines unternehmensinternen Kategorienschema bzw einer Ta-xonomie helfen Werkzeuge, die diesen Prozess gezielt unterstützen. Die SemanticWeb Company ist Partner des Salzburg NewMediaLab und bietet mit ihrem Pro-dukt „PoolParty21“ ein entsprechendes Werkzeug an. Hier können übersichtlichTaxonomien entwickelt, erstellt und verwaltet werden (vgl. Abbildung 6). Abbildung 6: Taxonomieerstellung mit Poolparty. Quelle: http://poolparty.biz/products/poolparty-thesaurus-manager/ (7.10.2012)Den technischen Aufbau von Poolparty und seinem Thesauri-Management wird infolgender Abbildung 7 beschrieben.21 http://poolparty.biz/ (28.08.2012) 29
  • 30. Technologische Unterstützung der Qualitätssicherung Abbildung 7: Thesaurimanagement mit Poolparty. Quelle: http://poolparty.biz/products/poolparty-thesaurus-manager/(10.10.2012)(b) Steuerung des AnnotationsprozessDas Management der Annotationsprozesse, beispielsweise die Zahl der Annotato-ren pro Ressource oder ob Annotatoren auch die Annotation ablehnen können,wird ebenfalls durch Technologien unterstützt und liefern somit einen Beitrag zurQualitätssicherung. Beim Werkzeug „Teamware“, mit dem kollaborativ annotiertwerden kann schaut das entsprechende Interface folgendermaßen aus (siehe Ab-bildung 8). Abbildung 8: Annotationsmanagement mit Teamware. Quelle: http://gate.ac.uk/teamware/ (10.11.2011)30
  • 31. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheWie solche Prozesse optimal gestaltet werden können zeigt nicht nur die Erfah-rung sondern ist auch Gegenstand empirischer Untersuchungen. So stellen Vond-rick u.a. (2012) fest, dass es beim Annotieren von Videos sinnvoll ist (weil effizi-enter) wenn in jedem Frame nur ein Ding markiert und beschrieben wird.(c) Vergleich der Annotationen und Bereinigung bei Mehrfach-AnnotationEs wurde bereits beschrieben, dass es der Qualitätssicherung dient, wenn man dieAnnotationen unterschiedlicher Personen derselben Ressource miteinander ver-gleichen kann. Beim Werkzeug „Teamware“ werden entsprechende Kalkulationenvon Kappa automatisch durchgeführt und können Fehlermeldungen an das Anno-tations-Management verschicken (siehe Abbildung 9). Abbildung 9: Annotationsvegleich bei Teamware. Quelle: http://gate.ac.uk/teamware/ (10.11.2011)(d) Qualitätsprüfung mit Hilfe automatischer AnnotationenAutomatische Annotationen können auch zum Einsatz kommen, um die Annota-tionen eines einzelnen Annotators zu prüfen. Sehr häufig werden Ressourcennämlich nicht von mehreren Personen annotiert, so dass hier Vergleiche möglichwären. Lässt man eine Ressource – sofern es eine geeignete automatische Annota-tionsunterstützung gibt – automatisch annotiert, kann man davon ausgehen, dassÜbereinstimmungen der automatischen Annotation und des Annotators für „kor-rekte“ Annotationen sprechen. Abweichungen können jedoch als mögliche Signalefür qualitative Mängel betrachtet werden. Auf alle Fälle ist ein solche Vorgehen,dass die Abweichungen von den automatischen Vorschlägen prüft effektiver alsdie kompletten Annotationen „per Hand“ zu überprüfen (siehe Huang u.a., 2008).Ein solches Verfahren, dass von Safadi u.a. (2012) vorgestellt wird wird als „ActiveCleaning“ bezeichnet wird. Hierbei werden, sofern – z.B. auch automatisch gene-rierte – Annotationen vorhanden sind, diejenigen gewählt, die die höchste Qualitätaufweisen. Ihnen gelingt auch an einem Testdatensatz der Nachweis, dass nach ei-ner solchen Reinigung auch tatsächlich zur Verbesserung führt. Ähnlich bereini- 31
  • 32. Technologische Unterstützung der Qualitätssicherunggen Vittayakorn & Hays (2011) so Annotationen von Bildern, die durch Crowd-sourcing entstanden sind.(e) Monitoring des AnnotationsprozessQualitätssicherungsmaßnahmen sind auch solche, die aktuelle Prozesse in Formvon Kennzahlen monitoren und ausweisen. Auch hier bieten Werkzeuge Unter-stützung, zur Illustration ist hier ein Screenshot von Teamware eingefügt (sieheAbbildung 10). Abbildung 10: Monitoring bei Teamware. Quelle: http://gate.ac.uk/teamware/ (10.11.2011)(f) Qualitätssicherung mit und von (semi-) automatischen AnnotationenAutomatische Annotationen oder auch Empfehlungen für Annotationen könnenallgemein als Unterstützung von Annotationsprozessen betrachtet werden. Es gibteine Reihe von Automatisierungstechniken, die bei der Annotation zum Einsatzkommen, die auch als Qualitätssicherungsmaßnahmen betrachtet werden können.Semi-automatische Annotationen sind dabei Verfahren, die manuell überprüftwerden, es gibt jedoch auch Systeme, die allein auf automatische Verfahren ange-wiesen sind.Bei der Beschreibung von Automatisierungstechniken könnte etwa unterschiedenwerden: Sicherstellung von einheitlichen Schreibweisen, Erleichterung bei derAuswahl von Vokabular (Vorschlag/Navigation), Hilfestellung bei der Beschrei-bung des Inhalts (z.B. Hintergrundinformation zu Themen wie den Teilnehmernbei Events), die Auflösung von Mehrdeutigkeiten (Disambiguierung), Bild-Extrak-tion, Text-Transkriptionen, Erleichterung beim Hinzufügen von neuen Kategorienzu bereits annotierten Assets, Hilfestellung nach der Annotation (z.B. Anreiche-rung mit Überkategorien).32
  • 33. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheDiese automatisierten Annotationen bzw. Vorschläge dafür können dabei auch ausvon Webmaterialien oder simplen Nutzerkommentaren generiert werden. Yama-moto und andere (2008) versuchen so Kommentare in Bulletin Boards und We-blogs zu Videos auszuwerten, um daraus Annotationen zu entwickeln. Zhang u.a.(2008) versuchen ähnliches mit Vlogs (also Video-Weblogs). Belhajjame u.a.(2006) untersuchen, inwieweit Webservices automatisch annotiert werden kön-nen. Sie stellen fest, dass auch rudimentäre existierende Informationen als Anno-tationsvorschläge die (professionelle) Annotation erleichtern können. AndereForschungsgruppen haben ähnliche Untersuchungen erstellt, dabei variieren Da-tenquellen und Auswertungsverfahren.In einem bereits erschienenen Band der Linked Media Lab Reports (Schön und an -dere, 2011) wurden Verfahren zusammengetragen, mit denen wiederum die Qua-lität von Annotationsvorschlägen überprüft werden kann. Da sich diese auf „auto-matische“ Annotationen bzw. Annotationsvorschläge beziehen, lassen sich dieseVerfahren – wie im folgenden geschehen – leicht auf die Qualitätsüberprüfung vonautomatischen Annotationsverfahren übertragen:Es gibt mehrere Verfahren, die grundsätzlich zur Verfügung stehen und im Fol-genden detaillierter beschrieben werden. Zum einen sind dies reaktive und expe-rimentelle Verfahren, also Verfahren, bei denen zusätzliche Daten zur Qualität vonEmpfehlungen für Annotationen erhoben werden müssen bzw. sich die Nutzer/in-nen bewusst sind, an einer Bewertung und Optimierung weiterzuarbeiten: (1) Befragung von Experten zur Qualität der empfohlenen Annotationen, (2) direkter Vergleich der Annotationsempfehlungen durch Befragung von Experten, (3) Optimierung von Empfehlungsalgorithmen durch die Nutzer (ALOE-An- satz), (4) experimenteller Einsatz (Unterschiede in der Nutzung von Annotations- vorschlägen) sowie (5) experimentelle Nutzungsszenarien zur Bewertung von Annotationsvor- schlägen.Daneben gibt es aber auch Verfahren, bei denen die Nutzer sich gar nicht aktiv ander Bewertung von Annotationsvorschlägen beteiligen müssen oder gleichzeitigunterschiedliche Algorithmen im Einsatz sind, sondern einfach non-reaktiv exis-tierende Datensätze genutzt werden können. (6) Vergleich der Annotationen von Experten und mit den Annotationen, die das System vorschlagen würde, sowie (7) die „goldene Strategie“, nämlich den Vergleich mit Standarddaten.Die Verfahren werden detailliert bei Schön und andere (2011) beschrieben. 33
  • 34. Technologische Unterstützung der Qualitätssicherung(g) Einsatz von Empfehlungssystemen für AnnotationsvorschlägeEmpfehlungssysteme für Annotationen werden immer häufiger eingesetzt, umden Prozess der Annotation zu vereinfachen und auch um sie zu verbessern 22.Empfehlungssysteme für Annotationen beruhen dabei auf ganz unterschiedlichenQuellen und Verfahren (vgl. Schön, Kurz u.a., 2011). Wie allgemein bei Empfeh-lungssystemen gibt es auch bei den Empfehlungen von Annotationen zwei Verfah-ren: das inhaltsbasierte Filtern und das kollaborative Filtern. Werden Empfehlun-gen für Annotationen gegeben, wird in der Regel das inhaltsbasierte Filtern einge-setzt, dabei beruhen die Empfehlungen auf den Eigenschaften der Elemente, dieempfohlen werden. Hier kommen häufig Verfahren der Datenextraktion zum Ein-satz, oft wird dabei auch auf Thesauri zurückgegriffen. Es gibt aber auch Ansätzebei Empfehlungen von Annotationen, bei denen kollaboratives Filtern (engl. „Col-laborative Filtering“) eingesetzt wird: z.B. werden bei Delicious23 häufig verwen-dete Tags vorgeschlagen. Auch gibt es vielfach personalisierte Vorschläge („be-reits verwendete Tags“).Es gibt mehrere bereits im letzten Absatz skizzierte Verfahren, die grundsätzlichzur Verfügung stehen, um die Qualität von Empfehlungen für Annotationen undentsprechender Systeme zu bewerten (siehe Schön, Kurz u.a. 2011). Diese Strate-gien der Evaluation von Annotationsempfehlungen sind jedoch bisher teils nochgar nie, oder nur selten, eingesetzt worden.Eine interessante Maßnahme zur Qualitätssicherung von Annotationen bzw. zurQualitätsverbesserung der Annotationsempfehlungen möchten wir exemplarischvorstellen: Empfehlungsalgorithmen für Annotationen können nämlich – ganz sel-ten – auch durch den Nutzer beeinflusst werden. Mit der ALOE-Plattform wirdderzeit versucht, eine Schnittstelle zu entwickeln, die es Nutzern erlaubt, selbstdie Regeln für die Erstellung der Tag-Vorschläge zu steuern. Wie die Abbildungder derzeitigen Nutzeroberfläche zeigt (s. Abbildung 11. S. 35), kann beispielswei-se vom Nutzer festgelegt werden, ob Tag-Vorschläge aus dem Tagging-Verhaltenaller ALOE-Nutzer generiert werden sollen, oder ob nur Kontakte einbezogenwerden sollen.22 Wir haben bereits ausführlich Empfehlungssysteme für Annotationen vorgestellt und diskutiert, wie man die Qualität ihrer Empfehlungen bewerten kann (Schön, Kurz u.a. 2011).23 http://delicious.com/ (28.08.2012)34
  • 35. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche Abbildung 11: ALOE-Interface zur Festlegung der Quellen für Tag-Vorschläge. Quelle: Memmel, Kockler & Schirru (2009), Abbildung 4, 688(h) Visualisierung der Vertrauenswürdigkeit von Annotationen und TagsWenn Systeme auf Social Tagging aufbauen, haben sie mit dem Cold-Start-Pro-blem zu kämpfen: Solange keine Tags vorhanden sind, sind entsprechende Doku-mente z. B. über entsprechende Suchfunktionen nicht auffindbar. Um dieses Pro-blem zu entschärfen, werden automatische Tags vergeben, die beispielsweisedurch Methoden des Text-Mining (siehe Abschnitt zu Texten) ermittelt werden.Diese automatischen Tags können also auch fehlerhaft oder unsinnig sein. Im Pro-jekt „InterEDU“ des Salzburg NewMediaLab wurde daher ein System der Quali-tätssicherung eingeführt um automatische Tags und Tags der Lehrer unterschei-den zu können. Zu diesem Zweck wurde folgende Markierung der Lernmaterialieneingeführt:– Wolken kennzeichnen Lernmaterialen, denen automatisch Tags zugewiesen wurden, die also auf statistischen Analysen beruhen und fehlerhaft sein können.– Wolken mit einer durchbrechenden Sonne markieren Lernmaterialien, bei de- nen ein beliebiger Nutzer bereits eigene Tags ergänzt hat (und ggf. die automa- tisch ermittelten übernommen hat). 35
  • 36. Technologische Unterstützung der Qualitätssicherung– Eine Sonne haben schließlich die Lernmaterialien, wenn ein Administrator oder Gegenstandsbetreuer das Lernmaterial über eine spezielle Schaltfläche freigege- ben hat. Jede weitere Bearbeitung führt wieder zur vorherigen Stufe (Wolken mit durchbrechender Sonne), so dass das Lernmaterial einer erneuten Freigabe durch einen Administrator oder Gegenstandsbetreuer bedarf.Statt der Wolken bzw. der Sonne sind alternativ auch Darstellungen von Ver-kehrsampeln denkbar. Nicht immer ist so eine relativ rigide Kontrolle der Qualitätvon Tags notwendig, wie es im Falle der Lernressourcen in diesem Projekt erwar-tet wurde. Aber es zeigt sich an diesem Beispiel, dass auch hier die Qualität vonSocial-Tagging-Systemen noch erhöht werden kann.(i) Spielbasierte Ansätze zur QualitätsprüfungUm im größeren Umfang Tags zu Bildern zu erhalten, entwickelten kreative Köpfedas ESP-Game (www.espgame.org, von Ahn & Dabbish, 2004). Die Spielidee liegtdarin, dass Spieler zu Bildern Tags eingeben, von denen sie annehmen, dass sieauch von anderen Nutzern verwendet werden und je nach ÜbereinstimmungPunkte erhalten. Dabei hat sich gezeigt, dass schnell allgemeine Tags verwendetwerden, so dass diese Worte inzwischen ausgeschlossen werden, was das Spielenjedoch nicht weniger spannend macht, sondern eher noch herausfordernder.Die Idee des ESP-Spiels wurde inzwischen von anderen aufgegriffen. So hatGoogle den „Google Image Labeler“ implementiert und erhält durch dessen Spielerviele Metainformationen über Bilder. Auch wurde die Spielidee auf andere Medienübertragen (z.B. auf Musikstücke: „Tag a Tune“, via www.espgame.org). Hier wer-den Musikstücke vorgespielt, die getaggt werden sollen. Andere wiederum entwi-ckelten daraus ein Spiel (und Patent), das auf einem horizontalen Display gespieltwird (Diakopoulos & Chiu, 2007).Nun stellt sich die Frage, ob solche Spielideen nicht auch zur Qualitätssicherungvon Annotationen in Medienarchiven eingesetzt werden könnten. Eine Möglich-keit wäre, dass Spieler Punkte für übereinstimmende Annotationen erhalten, Ab-weichungen aber tatsächlich auch zur Kontrolle der Annotation verwendet wer-den.Im Kompetenzzentrum für Neue Medien, „Salzburg NewMediaLab – The Next Ge-neration“ wurde von der Universität Innsbruck das Spiel „TubeLink“ entwickeltund evaluiert24, das auf dem „Wisdoms Of A Crowd“-Ansatz beruht: Mehrere Spie-ler geben unabhängig voneinander Antworten zur gleichen Problemstellung. BeiTubeLink ordnen die Spieler aus einer Menge vorgegebener (passender und un-passender) Begriffe einem Video jene Begriffe zu, die sie für passend halten, z.B.ein Begriff für etwas, was in dem Video abgebildet ist, oder eine Stimmung, die siemit dem Video assoziieren.24 Die folgenden Ausführungen stammen von Michael Thaler, STI Innsbruck36
  • 37. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche Quelle: TubeLink (Stand 10.12.2011)Aus der Gesamtsicht der zugeordneten Begriffe aller Mitspieler erhält man nunnicht nur eine Auswahl von mehrheitlich als passend betrachteten Annotationen,sondern die Annotationen werden auch – mit einer gewissen „Unschärfe“ – aufder Zeitleiste des Videos angeordnet. Die dahinterliegende Annahme ist, dassbeim Heranziehen mehrerer Antworten zur gleichen Problemstellung das Ergeb-nis zum richtigen konvergiert (d.h. qualitativ besser ist als eine Einzelbeurtei-lung).Die Umsetzung bzw. Evaluation des Spiels und seiner Ergebnisse zeigt, dass essich nicht als trivial erweist, den spielerischen Ansatz umzusetzen: Die Auswer-tung der Antworten ist verhältnismäßig einfach. Ein Spiel zu entwickeln und einekonstante Anzahl an Spieler zu erhalten, hat sich jedoch als schwierig erwiesen.Hier alleine Punkte zu vergeben erscheint zu wenig um hier wiederkehrende Spie -ler zu finden. Quelle: TubeLink (Stand 10.12.2011) 37
  • 38. Technologische Unterstützung der QualitätssicherungDie Idee, mit spielerischen Ansätzen Annotationen für Videos zu erhalten und dieQualität der so erhaltenen Annotationen zu bewerten und zu sichern wird auch ananderer Stelle im Rahmen eines Dissertationsvorhabens erprobt (s. Gligorov &Schreiber, 2012) und geplant (Riek u.a., 2011) 25.(j) Qualitätssicherung auf Seiten der Nutzer/innenGerade wenn es sich um nutzergenierte Daten und Anmerkungen handelt undnicht immer ganz klar ist, wie vertrauenswürdig diese sind, können auf Seiten derNutzer/innen Werkzeuge eingesetzt werden, die eine entsprechende Auswahlmöglich machen. Abbildung 14: Annotationsformen bei Videolyzer Quelle: Diakopoulos & Essa, 2008, figure 325 Vergleiche dazu auch das Projekt „Waisda?“: 2009 wurde von Forschern der VU Univer- sität Amsterdam im Rahmen des europäischen Forschungsprojekts PrestoPRIME ein Vi- deo-Annotations-Spiel gestartet, bei dem die Mitspieler aufgefordert wurden, mit Be- grifen zu annotieren, was sie sehen und hören: http://imagesforthefuture.com/en/rese- arch/waisda-video-labeling-game-evaluation-report (2012-11-26)38
  • 39. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheEin Beispiel dafür, wie Nutzer/innen selbst bei der Qualitätssicherung mitwirkenkönnten, ist der Forschungsprototyp Videolyzer 26, bei dem politisch InteressierteVideos zu politischen Themen annotieren können und jeweils die Annotationenanderer annotieren können (Diakopoulos & Essa, 2008). Die Abbildung 14 zeigt,welche Annotationen so im Einzelnen möglich sind.In diesem und weiteren ähnlichen Forschungsprojekten geht es also letztlich dar-um, Aussagen über die Vertrauenswürdigkeit der Annotationen zu erlangen: Dar-aus ergibt sich als weiteres Forschungsgebiet die Möglichkeiten (automatisch)einschätzen zu können, wie vertrauenswürdig Annotationen sind. Ceolin u.a.(2010) untersuchen beispielsweise, mit welchem Verfahren professionelle Anno-tationen (von naturwissenschaftlichen Museen) die höchsten Vertrauenswürdig-keit-Bewertungen erhalten und mit geringer Fehlerwahrscheinlichkeit als ver-trauenswürdig identifiziert werden. Solche Erfahrungen könnten später genutztwerden, um gute und schlechte externe Annotatoren und ihre Annotationen kor-rekt einordnen zu können.Ein weiteres gutes Beispiel, vor allem eines, das tatsächlich im großen Umfang ge-nutzt wird, ist die Qualitätssicherung beim OpenStreetMap-Projekt.27 Im Open-StreetMap Projekt28 wird das Ziel verfolgt freie geographische Daten zu erfassenund allen Benutzern kostenfrei zur Verfügung zu stellen. Die Daten werden welt-weit von freiwilligen Nutzern erfasst und editiert. Zu den einzelnen geographi-schen Daten können zusätzliche Eigenschaften (Map Features) in Form vonSchlüsseln (Tags) und Werten (Values) gespeichert werden. OpenStreetMap lässtprinzipiell alle möglichen Tags und Values zu. Um die Anwendung der freien Geo-daten zu erleichtern wird von der Community ein Leitfaden für die Erfassung undBearbeitung der Map Features vorgeschlagen. Dieser Leitfaden ist im OpenStreet-Map-Wiki29 dokumentiert.Das Wachstum der Anzahl der Nutzer/innen und damit einhergehend auch desDatenbestandes ist in den letzten Jahren groß (siehe Abbildung 15). Eine großeHerausforderung für die Zukunft der OpenStreetMap ist die Vervollständigung,Wartung und Verbesserung der Daten. Damit wird auch ein Schwerpunkt auf diequalitative Verbesserung der Daten gelegt.26 http://www.videolyzer.com/ (2012-08-23)27 Autor der OSM-Beschreibung: Sven Leitinger, Salzburg Research Forschungsgesellschaft28 http://www.openstreetmap.org (2011-12-12)29 http://wiki.openstreetmap.org/wiki/DE:Map_Features (2011-12-12) 39
  • 40. Technologische Unterstützung der Qualitätssicherung Quelle: OpenStreetMap Contributors, License: CC-BY-SA 2.0, http://wiki.openstreetmap.org/wiki/File:Osmdbstats1.png (26.11.2012)Die Qualitätssicherung in OpenStreetMap erfolgt durch die Community selbst. DieDatenqualität kann in folgende Teilbereiche unterschieden werden: geometrischeQualität, Qualität der Map Features und die Qualität des Abdeckungsgrades. Umdie geometrische Qualität und die Qualität des Abdeckungsgrades zu verbessernexistieren bereits verschiedene Werkzeuge zur allgemeinen Meldung von Fehlern,spezielle Karten zur Fehlersuche, Werkzeuge zur Überprüfung von Wegen undRelationen für die Erstellung von Routing-Graphen30. Diese Werkzeuge wurdenvor allem für den Einsatz auf desktop-basierten Systemen entwickelt. Dazu ist esin vielen Fällen nicht notwendig die Daten im Feld zu erfassen und zu verbessern,sondern die Datenqualität über die zu Hilfenahme von freien Luft- und Satelliten-bildern zu verbessern.Für die Verbesserung der Map Features ist es hingegen notwendig die Daten vorOrt zu verbessern. Bis jetzt gibt es nur wenige mobile Anwendungen zur Erfas-sung und Verbesserung von OpenStreetMap-Daten auf mobilen Endgeräten wieSmartphones oder Tablet PC. Mit der freien mobilen Applikation „OSMapTuner“können in Zukunft vor Ort die einzelnen Map Features und deren Tags und Valuesanhand des OSM-Wikis validiert werden und fehlende bzw. fehlerhafte Daten ver-30 http://wiki.openstreetmap.org/wiki/Qualitätssicherung (2011-12-12)40
  • 41. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranchebessert werden (siehe Abbildung 16). Der OSMapTuner wurde im März 2012 füralle OpenStreetMap-Benutzer weltweit auf Google play bereitgestellt31. (rechts) Signalisierung von fehlenden Tags durch die automatische Tag-Validierung. Diese können durch Auswahl geändert werden. Quelle: Salzburg Research31 https://play.google.com/store/apps/details?id=at.srfg.osmaptuner (28.08.2012) 41
  • 42. Technologische Unterstützung der Qualitätssicherung42
  • 43. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche DER EINSATZ UND ERFAHRUNGEN MIT QUALITÄTSSICHERUNG VON ANNOTATIONEN IN MEDIENARCHIVENNeben unserer allgemeinen Übersicht waren wir interessiert daran, auch tiefereEinblicke in die Praxis der Qualitätssicherung von Annotationen in Medien-archiven zu erlangen. Wir haben dazu Ausführungen vom Österreichischen Rund-funk (ORF), Dokumentation und Archive, sowie vom Archivar des PrivatsendersServus TV erhalten.Qualitätssicherung der Annotation in der täglichen Praxis desORF-Fernseharchives32Zweck der Annotation im ORF-Fernseharchiv ist grundsätzlich einerseits die voll-ständige Dokumentation der Fernsehinhalte und andererseits die rasche Wieder-auffindbarkeit und weitere Nutzung der Inhalte durch Redakteure und Archivmit-arbeiterinnen und -mitarbeiter. Viele Archivmitarbeiterinnen und -mitarbeitersind in beiden Bereichen tätig – sowohl in der Auswertung als auch in der Recher-che. Es existiert ein gemeinsamer „Wortschatz“. Annotateure wissen, wonach re-cherchiert wird, Rechercheure wissen, wie annotiert wurde. Im Gegensatz zu Da-tenbanken und Suchmaschinen mit einer breiten User-Nutzung, die auch einegroße Diversität der Annotation notwendig machen, gibt es für das ORF-Fernse-harchiv sehr klare Auswertungsrichtlinien, eine Einschulung von Annotateurensowie eine (derzeit eher oberflächliche) Kontrolle der Annotationen.AuswertungsrichtlinienWichtigstes Instrument der Qualitätssicherung der Annotation ist das von einigenArchivmitarbeiterinnen und -mitarbeitern in einer Arbeitsgemeinschaft zusam-mengestellte, sogenannte „Musterbuch“. Diese schriftlich festgehaltenen Auswer-tungsrichtlinien dienen einer möglichst einheitlichen Formulierung bei der inhalt-lichen Erschließung von Dokumenten – Grundlage für eine rasche und zielführen-de Recherche. Ergänzungen und Aktualisierungen zu den Richtlinien sind dabeinotwendig und durchaus erwünscht.Im Musterbuch festgeschrieben sind – entsprechend den Auswertungsfeldern derim ORF genutzten Archivdatenbank „FESAD“ – Richtlinien zur Titelansetzung, zurPersonenangabe, zum Sachinhalt einer Sendung/eines Beitrages, zur Bildbe-schreibung sowie zu geografischen Angaben.Der Sachinhalt eines Dokumentes soll in knapper, prägnanter, journalistischenAnsprüchen genügender Weise – analog einer Zeitungs- bzw. Agenturmeldung –32 Autoren: Mag. Andrea Wolfinger / Redakteurin Dokumentation / ORF – Dokumentation & Archive – FZ2, Text zu „Einschulung neuer Annotateure“: B.A. Michael Vielhaber M.P.O.S. / Redakteur Dokumentation / ORF – Dokumentation & Archive - FZ2) 43
  • 44. Der Einsatz und Erfahrungen mit Qualitätssicherung von Annotationen in Medienarchivenin ganzen Sätzen formuliert sein, zum Verständnis wichtige Informationen enthal-ten und für künftige Recherchen relevante Zentralbegriffe beinhalten.Im Feld Bildinhalt erfolgt eine mit Stichworten frei formulierte Motivbeschrei-bung unter Verwendung von Synonymbegriffen (z.B. Flugzeug, Passagiermaschi-ne, Boeing 737, Lufthansa-Maschine,…) und unter Berücksichtigung der gestalteri-schen Wiederverwertbarkeit der Bilder und deren sinnvoller Abfragbarkeit.Wichtigste Orientierungshilfe für die Bildbeschreibung stellen die im Musterbuchfestgelegten Motivparameter dar. Sie dienen der Vereinheitlichung von Standard-situationen, um einerseits die Motivbeschreibung zu erleichtern und andererseitsdie Suche und Wiederverwertbarkeit der Inhalte zu erleichtern. Im Anschluss andie Auflistung der Motivparameter erfolgt eine genaue Definition mit Beispielenaus der Annotations-Praxis (vgl. Abbildung 17). STRASSENSZENE Der Motivparameter STRASSENSZENE wird für typisches Straßenleben (Atmo) einer Stadt/eines Ortes verwendet. Ländertypische bzw. nicht zuordenbare Straßenszenen können (zusätzlich) auch mit STRASSENSZENE-Land/Region bezeichnet werden. Außer- dem können genauere Beschreibungen in runder Klammer ergänzt werden. STRAS- SENSZENE- wird immer vorgestellt, der Hauptsuchbegrif mit Bindestrich angefügt. Mehrere Einstellungen werden mit div. STRASSENSZENE- angegeben. BEISPIEL: STRASSENSZENE-Belgrad (Winter) STRASSENSZENE-London (Regen, PKW-Verkehr, Passanten) STRASSENSZENE-Rajasthan (STRASSENSZENE-Indien) PLURAL: div. STRASSENSZENE-Osteuropa Abbildung 17: Auszug aus dem Musterbuch des ORF, Beispiel „Strassenszene“ Quelle: ORFGeografische Angaben zu einer Sendung/einem Beitrag werden ebenfalls nach imMusterbuch festgelegten formalen und inhaltlichen Kriterien (z.B. Reihung, Tren-nung, Großschreibung, Abkürzungen) gemacht. Eine Werteliste, wie sie im bisEnde 2008 verwendeten Archiv-System „FARAO“ angeboten wurde und die fürStaaten eine einheitliche Ansetzung erzwungen hat, existiert in FESAD nicht mehrund stellt in diesem Zusammenhang auch eine Schwächung der Qualitäts-sicherung dar. Fehlerhafte Schreibweisen werden nicht mehr zurückgewiesen.Zusätzlich zu den eben genannten Freitextfeldern (z.B. Titel, Personen, Sachinhalt,Bildinhalt, Indexat Geo) bietet FESAD aber in anderen Bereichen die Möglichkeiteiner inhaltlichen Erschließung über Wertelisten. So kann der Inhalt einer Sen-dung/eines Beitrages oder der gestalterische Aufbau durch die Auswahl zutref-fender Begriffe aus einer entsprechenden Werteliste klassifiziert werden. Wobeidie Auswahl mehrerer Begriffe möglich und meist auch notwendig ist.44
  • 45. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheDer Bestand der inhaltlichen Sachbegriffe wurde im Laufe der Jahre erweitert. DieVerwendung der Sachbegriffe ist somit nicht konsistent. Die Einführung bzw. Auf-lösung eines Begriffes entwickelt sich aus der täglichen Arbeit. Bei der Auswer-tung und bei der Recherche können durch neue Themenschwerpunkte neue Sach-begriffe erforderlich werden. Andere früher durchaus verwendete Begriffe wer-den obsolet. Im Laufe der Zeit wurden die Schlagworte auch vereinfacht oder mo-difiziert.Im Musterbuch folgt auf die Auflistung der Sachbegriffe (Schlagworte) wieder einegenaue Definition mit Beispielen aus der Annotations-Praxis (vgl. Abbildung 18). EHRUNG Preisverleihung, Auszeichnung, Medaillen-Verleihung,... im Bereich Kunst, Kultur, Sport, Unterhaltung, Wirtschaft, Wissenschaft, Soziales usw. BEISPIEL: Historiker Saul Friedländer erhält Bruno-Kreisky-Preis EHRUNG; HISTORIE; KULTUR; PR; WISSENSCHAFT Oscar-Verleihung EHRUNG; KULTUR; MEDIEN; UNTERHALTUNG Siegerehrung nach Weltcup-Slalom EHRUNG; INTERNATIONAL; SPORT Rot-Kreuz-Mitarbeiter werden für ihren Einsatz geehrt EHRUNG; EXEKUTIVE; SOZIALES Abbildung 18: Auszug aus dem Musterbuch des ORF, Beispiel „Ehrung“ Quelle: ORFDie Auswertungsrichtlinien stellen eine unabdingbare Voraussetzung für diegleichbleibend hohe Qualität der Annotation dar. Sie sind auch wichtigster Be-standteil der Einschulung neuer Annotateure.Einschulung neuer AnnotateureIn einem ersten Schritt werden neue Annotateure mit einer der wesentlichstenHerausforderungen der audiovisuellen Inhaltserschließung für ein produzieren-des und produktionsunterstützendes Fernseharchiv konfrontiert, nämlich jenerder subjektiven Wahrnehmung. Der Umstand, dass audiovisuelle Eindrücke nichtneutral, sondern subjektiv wahrgenommen und verarbeitet werden, stellt ein ve-ritables Problem dar, da die Dokumentation der Eindrücke auch entsprechend in-dividuell variiert. Es gilt daher, ein entsprechendes Problembewusstsein zu schaf-fen. Das passiert, indem neue Annotateure gebeten werden, eine Sequenz von dreibis vier Einstellungen bzw. etwa 15-25 Sekunden Dauer bildinhaltlich zu erfassen.Der genaue Arbeitsauftrag lautet: „Verschriftlichen Sie bitte, was Sie nun sehen“.Daraufhin wird den künftigen Archivmitarbeitern eine audiovisuelle Sequenz vor-geführt. Wenn in weiterer Folge die unterschiedlichen Auswertungen besprochenwerden, wird transparent, dass niemand das exakt selbe Motiv wahrgenommen 45
  • 46. Der Einsatz und Erfahrungen mit Qualitätssicherung von Annotationen in Medienarchivenhat und die Bildmotive daher auch unterschiedlich schriftlich festgehalten wur-den.Ein entsprechendes Beispiel aus der jüngeren Vergangenheit war die Präsentationeiner kurzen Sequenz, die ihren Anfang mit Verkehrsszenen von der Wiener Wes-teinfahrt genommen hat. Die diesbezüglichen Annotationen waren – entspre-chend den Erwartungen – höchst unterschiedlich: von „LKW und PKW bei Stadt-einfahrt“, über „Straßenverkehr“ bis hin zu „Autos auf einer Straße“. Obwohl derSachinhalt jeweils korrekt beschrieben wurde, sind die Termini doch gänzlich un-terschiedlich. Für die bildinhaltliche Erschließungsqualität bedeutet das, dass einehoch individualisierte Auswertung eine mindere Qualität darstellt, da organisati-onsweite Parameter fehlen, die der Usergruppe der Rechercheure Anknüpfungs-punkte zur zielorientierten Suche bieten würden.Mit diesem Bewusstsein nähert man sich nun der Aufgabe an, möglichst einheitli-che und repräsentative Annotationen zu generieren. Diesbezüglich werden jetztdie wesentlichen vorgegebenen Auswertungstermini (Motivparameter) auf ihreBedeutung hin besprochen. Zum Beispiel: eine „STRASSENSZENE-Paris“ ist eineAneinanderreihung von für Paris repräsentativen Genrebilder in einer Mindest-länge von 15 Sekunden (Längenaspekt wesentlich für potentielle Wiederverwert-barkeit), die von einer breiten Allgemeinheit als regionalspezifisch wahrgenom-men werden (Zum Beispiel: Passanten auf der Champs Elysees, eine erhöhte Luft-aufnahme der Altstadt mit dem Eifelturm im Hintergrund und Verkehrsszenenvor dem Triumphbogen).Um das Verständnis für die Bedeutung der Motivparameter (im Beispielsfall„STRASSENSZENE“) zu manifestieren, werden nun weitere Beispiele besprochen:„Wie könnte eine STRASSENSZENE-Berlin aussehen? Wie eine STRASSENSZE-NE-London?“.Wesentlich ist in diesem Zusammenhang nicht eine möglichst umfassende Ver-mittlung aller zur Verfügung stehender Motivparameter, sondern der Versuch, einBewusstsein für die Wechselwirkung zwischen Auswertung, Recherche und indi-viduellen Einflüssen zu schaffen.Im Rahmen eines speziellen E-Learning-Programms und unter Zuhilfenahme desabteilungsinternen „Musterbuches“ (schriftlicher Leitfaden für Annotationen)setzt sich nun der neue Annotateur mit den bestehenden Auswertungsrichtlinienauseinandersetzen und eignet sich das entsprechende Fachwissen an. In weitererFolge werden – je nach künftigem Einsatzgebiet repräsentative – bereits annotier-te Beiträge und/oder Sendungen zur nochmaligen Annotation vorgegeben. Im An-schluss an die Auswertung wird die ursprüngliche Inhaltserschließung herange-zogen und im direkten Vergleich mit der neuen Annotation besprochen. Abschlie-ßend erhält der neue Annotateur im regulären Arbeitsbetrieb regelmäßig Feed-back.46
  • 47. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheKontrolle der Auswertungen – FeedbackUm die Qualität der Annotation zu sichern, wäre eine möglichst zeitnahe, kontinu-ierliche und flächendeckende Kontrolle wünschenswert. Aus Mangel an Zeit undRessourcen kann derzeit leider nur die Formalkontrolle (Bestand, Titel, Datum,Bild- und Tonträger) durchgehend gewährleistet werden. Die inhaltliche Kontrol-le beschränkt sich auf aktuelles Nachrichten-Material (ZIB-Sendungen) und wirdderzeit an drei Tagen zu je acht Stunden in der Woche durchgeführt. In den kon-trollierten Dokumenten werden falsche Schreibweisen, Rechtschreibfehler undTippfehler korrigiert, inhaltliche Ergänzungen gemacht und Abweichungen vonden Auswertungsrichtlinien ausgebessert.Im Anschluss an die Kontrolle erhält der jeweilige Annotateur ein Feedback-Mail,das an die Einhaltung der festgelegten Auswertungsrichtlinien erinnern soll. Fürhäufig vorkommende Fehler oder neu festgelegte Schreibweisen, Begriffe und Mo-tivparameter wird ein Informationsmail an das gesamte Auswertungs- und Re-chercheteam verschickt.Vor allem in Hinblick auf eine Öffnung der Fernseharchive für externe Nutzerwäre eine umfassendere Kontrolle wünschenswert. Tatsächlich wird allerdings andie Eigenverantwortlichkeit der Annotateure appelliert, die Auswertungen nachFertigstellung zu kontrollieren und unter Zuhilfenahme externer Quellen (z.B.APA, Google, Wikipedia) die eigenen Angaben zu prüfen.Nur die korrekte Schreibweise und die konsequente Anwendung der Auswer-tungsrichtlinien gewährleisten eine treffsichere, rasche Recherche und damit dieWiederverwendbarkeit der dokumentierten Inhalte.Qualitätssicherung der Annotation bei Servus TV 33Beim österreichischen Privatsender Servus TV sorgen eine Reihe von Maßnahmendafür, dass nicht nur die Qualität der Formalerfassung und inhaltlichen Erschlie-ßung gesichert wird, sondern dass auch die Qualität durch die im Dokument be-schriebenen Maßnahmen bereits ausreichend hoch ist.Diese Maßnahmen sind kurz zusammengefasst:– Prüfung und Gewährleistung der fachlichen Kompetenz (fachliche Ausbildung) bei der Einstellung neuer Mitarbeiter.– Verwendung klar definierter Parameter (Titel, Sendedatum, technische Version etc.) im Bereich der formalen Deskriptoren sowie die Nutzung eines klar defi- nierten, indexierten Vokabulars in Form von Sachdeskriptoren auf der inhaltli- chen Ebene im digitalen Archivsystem.– Verwendung, Pflege klar definierter formaler und inhaltlicher Metadaten gemäß etablierter Standards im Bereich Mediendokumentation Fernsehen.33 Autor: Dipl- Infowiss. Jean-Christoph Börner, Leiter Mediendokumentation und TV-Ar- chiv ServusTV 47
  • 48. Der Einsatz und Erfahrungen mit Qualitätssicherung von Annotationen in Medienarchiven– Prüfung der Daten in Bezug auf Qualität „Richtigkeit“ und technischer Verfüg- barkeit (Stabilität) bei Bezug dieser Daten aus externen Quellen.Im einzelnen erfolgt die Qualitätssicherung durch folgende Maßnahmen:Einsatz eines RegelwerksIm Bereich der Mediendokumentation bei Servus TV wird versucht, die Qualitäts-sicherung u.a. mit Hilfe eines Regelwerkes zu lösen, welches im Bereich der öf-fentlich-rechtlichen Fernsehanstalten erarbeitet wurde. Obwohl Servus TV einPrivatsender ist, haben wir dieses Regelwerk trotzdem für die Modellierung unse-res digitalen Archivsystems als Grundlage verwendet.Dies ist u.a. eine entscheidende Grundlage, um Sendematerial in den verschiede-nen Fernseharchiven in Bezug auf das verwendete Vokabular einheitlich verwal-ten und recherchieren zu können oder den Programmaustausch von Dreh- undSendematerial inkl. einheitlichem Metadatenstandard in Bezug auf Umfang undInhalt zu realisieren.Voraussetzungen, Training und Schulung von ArchivarenDie Grundlage derArbeit bei Servus TV ist in der Regel ein abgeschlossenes Hoch-schulstudium im Bereich Informationswissenschaft / Mediendokumentation. Aus-gebildete Dokumentare / Mediendokumentare verfügen über das erforderlicheFachwissen entsprechende Medien fachlich richtig verwalten zu können und sor-gen dafür, dass diese, angepasst an den Informationsbedarf der Nutzer (z.B. Medi-endokumentare oder Redakteure), nach formalen und inhaltlichen Kriterien re-cherchierbar sind.Natürlich müssen Mediendokumentare eingeschult werden und Trainings absol-vieren, wenn sie in einem neuen Fernseharchiv eine Tätigkeit antreten. Jedoch un-terscheidet sich die Formalerfassung und die inhaltliche Erschließung des Sende-und Drehmaterials in Bezug auf die Werkzeuge (Datenbanken, Taxonomien etc.)und der zu erhebenden Metadaten in den verschiedenen Sendeanstalten nur ge-ringfügig voneinander.Eigenentwicklung eines Wissensmodells für Servus TVBei Servus TV wurde und wird weiterhin an einem eigenen Wissensmodell gear-beitet. Beim Aufbau des digitalen Archivsystems für Servus TV wurde sich dabeiam Regelwerk „Mediendokumentation – Fernsehen der öffentlich rechtlichenFernsehanstalten (ARD, ORF, ZDF)“ orientiert (vgl. auch Seite 23). Auf dieserGrundlage wurde klar definiert, welche Metadaten (formal und inhaltlich) erho-ben werden. Die benötigte Terminologie für die inhaltlichen Metadaten ist klar de-finiert (inkl. Synonymen etc.), da diese in Form von Deskriptoren und Deskriptor-ketten im System hinterlegt ist. Den weiteren Ausbau der Sachdeskriptoren, dieim Regelwerk nicht enthalten sind, realisiert Servus TV selbst.48
  • 49. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheSo spielt es dann bei einem Beitrag mit einem „Düsenjet“ keine Rolle mehr, ob derMediendokumentar bei der inhaltlichen Erschließung (Annotation) hier den Be-griff Kampfjet oder Kampfflugzeug verwendet, da jeder Mediendokumentar undauch jeder andere Nutzer bei der Recherche durch die im System hinterlegte (hierfiktive) Deskriptorenkette – Militärflugzeug; Kampfjet; Düsenkampfjet; Kampf-flugzeug etc. – unabhängig vom verwendeten Suchbegriff, das relevante Sucher-gebnis erhält. Hierbei ist lediglich entscheidend, dass beim Aufbau der Deskriptor -ketten gewährleistet ist, dass die Begriffe in der Kette auch für das selbe Objekt /Subjekt zutreffend sind und dass alle Begriffe, Synonyme etc. in der Kette enthal-ten sind, mit denen das Objekt / Subjekt abgebildet werden kann (Vollständig-keit).Weiterhin arbeitet Servus TV auch mit extern angebunden Informationsquellenwie z.B. dem „Munzinger Archiv“, das in vielen Medieneinrichtungen für die Ver-gabe von Personennamen (Politiker, Persönlichkeiten), Filmtiteln etc. benutztwird. Auch für die Vergabe der Geodeskriptoren zur geografischen Zuordnung vonSendematerial arbeiten wir mit einer externen Quelle.Bei externen Informationsquellen ist es bei Servus TV natürlich sehr wichtig, die-se im Vorfeld auf die Qualität der von dort bezogenen Informationen und auf tech-nische Stabilität (Verfügbarkeit) zu prüfen.Kontrollen der AnnotationenBei neuen Kollegen und Dokumentationsassistenten/innen werden über einen ge-wissen Zeitraum Kontrollen durchgeführt. Das heißt konkret, dass dazu der Ar-chivleiter die bearbeiteten Datensätze ansieht und diese dann gegebenenfalls zu-sammen mit dem betreffenden Kollegen korrigiert.Qualitätssicherung im AnnotationsprozessInsgesamt gab es in den letzten Jahren, bis auf technische Veränderungen, keinengrundlegenden Wandel der Maßnahmen zur Sicherung der Qualität von Annota-tionen. Die bereits in vollem Umfang praktizierten und etablierten Verfahren, dieangesprochen wurden funktionieren auch in den meisten Fernsehanstalten so –zumindest solange, bis neue theoretische Ansätze auch in der Praxis funktionie-ren.Zusammenschau der Qualitätssicherungsaktivitäten in FernseharchivenUm einen Überblick über die Verfahren zu bekommen, die derzeit in Fernsehar-chiven eingesetzt werden haben wir die Tabelle von S. 22 herangezogen. Dem-nach werden in Fernseharchiven die in Tabelle 5 fett gedruckten Verfahren einge-setzt bzw. ausdrücklich erwähnt. In kursiv und fett gesetzt sind ergänzende Maß-nahmen, die in unserer vorherigen Analyse nicht aufgeführt wurden. 49
  • 50. Der Einsatz und Erfahrungen mit Qualitätssicherung von Annotationen in Medienarchiven „soziale“ „technische“ Qualitätssicherungsmaßnahmen Qualitätssicherunsmaßnahmen (a) Entwicklung von Klassifikationssche- Annotations- mas und Regelwerken (a) Unterstützung bei der Erstellung und (b) Überprüfung des Klassifikationssche- beim Management von Kategoriensche- konventionen mas auf Konsistenz mas (Taxonomien) und -prozesse (c) Doppelte und mehrfache Annotation (b) Steuerung des Annotationsprozess (c) Vergleich der Annotationen und Bereini- Annotations- gung bei Mehrfach-Annotation [siehe rechts] systeme (d) Qualitätsprüfung mit Hilfe automati- scher Annotationen (e) Monitoring des Annotationsprozess Medienasset/ (f) Qualitätssicherung mit und von (semi-) [keine Vorschläge vorhanden] Ressource automatischen Annotationen Ersteller einer [keine Vorschläge vorhanden] [keine Vorschläge vorhanden] Ressource (d) Schulung von Kategorienschemas und Annotationstrainings (e) Überprüfung der Anwendung von Klas- sifikationsschemas (f) Entwicklung und Einsatz eines Prüfkor- (g) Einsatz von Empfehlungssystemen für Annotator pus für Annotatoren Annotationsvorschläge ggf. Archivar (g) Zusammenarbeit von Archivaren und Kunden/Nutzern E­Learning­Programm zur Schulung Prüfung fachlicher Kompetenz, entspre­ chende Auswahl von Personen, ein­ schlägige Ausbildung (h) Visualisierung der Vertrauenswürdigkeit (h) Erhebung der Kunden/Nutzerbedürfnis- von Annotationen und Tags Nutzer/innen se und -zufriedenheit (i) Unkonventionelle Lösung: Spielbasierte der Ressourcen (i) Erhebung des Nutzerverhaltens Ansätze zur Qualitätsprüfung (j) Qualitätssicherung durch Nutzer/innen Tabelle 5: Übersicht über „soziale“ und „technische“ Qualitätssicherungsmaßnahmen in Fernseharchiven50
  • 51. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche AUSBLICK UND ENTWICKLUNGENWährend im vorangehenden Kapitel die Praxis bei zwei Fernseharchiven be-schrieben wurde, die sich wohl vergleichsweise elaboriert und professionell umdie Qualitätssicherung bei den Annotationen von Filmausschnitten bemühen,zeigte unsere einführende Zusammenschau von Qualitätssicherungsverfahrenauch auf, welche weiteren Trends derzeit bei der Annotation von Multimedia auf-zuzeigen sind:– So werden derzeit versucht, hochwertige Annotationen mit Crowdsourcing-Ak- tivitäten zu erhalten. Hierbei kann es sich durchaus um semi-professionelle An- notatoren handeln, die teils auch für ihre Arbeiten entlohnt werden. Qualitätssi- cherung der Annotationen, und zwar eine möglichst automatisch durchführbare ist notwendig, um hier niemanden aufzusitzen, der nur schludrig oder unprofes- sionell annotiert (um damit Geld zu verdienen, siehe Oleson u.a., 2011)).– Ein weiterer Trend ist das kollaborative Annotieren von Videos, das immer häu- figer möglich ist (vgl. u.a. Schroeter u.a., 2003). Wie hier die Qualität der (kolla- borativen) Annotationen gesteigert werden kann ist eine interessante Fragestel- lung.– Auch wird in einigen Forschungsgruppen untersucht, inwieweit simple Annota- tionen wie Weblog-Beiträge oder Diskussionsforen-Beiträge für Videos dazu ge- nutzt werden können, um hilfreiche (semantische) Annotationen zu erhalten. Selbst für Videos, über die im Web nur sehr wenig Informationen vorliegen, z.B. dass in ihnen ein bestimmtes Objekt (z.B. eine Katze) erscheint können mit an- deren automatisierten Verfahren (wie z.B. der Objekt- und Szenenerkennung) durchaus brauchbare Annotationen der Videos ermöglichen (siehe Prest u.a., 2012; Prototyp Hypervideo34).– Gleichzeitig ist es für Linked-Media-Verfahren allgemein wichtig einschätzen zu können, wie vertrauenswürdig (externe) Annotationen sind (z.B. Ceravolo u.a. 2007; Ceolin u.a. 2010)Eine Reihe von offenen Forschungsfragen und Untersuchungsmöglichkeiten las-sen nicht nur zu diesen neuartigen Entwicklungen rund um die Qualitätssicherungder Annotation aufstellen, um systematisch Empfehlungen zu erhalten, welcheRahmenbedingungen typischerweise zu den bestmöglichen oder effizientesten Er-gebnissen führen können. Solche empirischen Untersuchungen sollten sich dannauch auf die Gestaltung von Annotationssystemen und -prozessen auswirken. Bei-spiele hierfür sind:34 http://ls.fmi.uni-mannheim.de/de/pi4/research/projects/hvideo/, Universität Mann- heim (2012-08-17) 51
  • 52. Ausblick und Entwicklungen– Optimierung von Test- und Trainingseinheiten für professionelle Annotateure (Abstände, Dauer, Art)– Gestaltung von Anreizsystemen zur Aufdeckung von Qualitätsmängeln bei An- notationen, evt. auch spielerische Ansätze– Optimierung automatischer Annotationen von Videos– User-Interface-Gestaltung bei der Video-Annotation (z.B. Frame-Auswahl; siehe Vondrick u.a., 2012)Schon während der Anfertigung dieses Reports hat sich gezeigt, dass das Interesseund Forschungsaktivitäten im Feld stark gestiegen sind. Bei unseren ersten Re-cherchen gab im Sommer 2011 gab es überwiegend Beiträge zur Qualität von Ge-nomdaten, ein Jahr später zeigt sich eine deutlich breitere Publikations- und For-schungsaktivität, auch speziell zur Qualitätssicherung von Annotationen bei Vi-deos. Hier sind auch für die kommenden Monate zahlreichen Weiter-entwicklungen und neue Einsichten zu erwarten.52
  • 53. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche LITERATUR UND QUELLENvon Ahn, L. & Dabbish, L. (2004). Labeling Images with a Computer Game. In ACM Conference on Hu -man Factors in Computing Systems (CHI), 2004, pp 319-326.Altendorfer, Otto & Hilmer, Ludwig (2006). Medienmanagement - Ein Lehrbuch: Medienmanage-ment: Band 3: Medienbetriebswirtschaftslehre - Marketing. Wiesbaden: Verlag für Sozialwissen -schaften.Ames, Morgan & Naaman, Mor (2007). Why We Tag: Motivations for Annotation in Mobile and Onli -ne Media. Online verfügbar:http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=BE3E2E214C7C94F819FF65112A8B6696?doi=10.1.1.90.4934&rep=rep1&type=pdf [2011-02-01]ARD, ORF & ZDF (2008). Regelwerk Mediendokumentation – Fernsehen, Richtlinien für die Formal -beschreibun und Inhaltserschließung von Fernsehproduktionen. Stand 9. April 2008.Bayerl; Petra S. (2003). Annotationsmethodik und Qualitätssicherung, Interner Bericht des Institutfür Angewandte Sprachwissenschaft und Computerlinguistik der Justus-Liebig-Universität, URL:http://www.uni-giessen.de/germanistik/ascl/dfg-projekt/pdfs/qualitaetssicherung.pdf (2011-11-09).Becker, Peter (2005). Prozessorientiertes Qualitätsmanagement: nach der Ausgabe Dezember 2000der Normenfamilie DIN EN ISO 9000 - Zertifizierung und andere Managementsysteme. Expert Ver -lag: Renningen.Belhajjame, K.; Embury, S.M.; Paton,N.W.; Stevens, R.D. & Goble, C.A. (2006). Automatic Annotationof Web Services Based on Workflow Definitions, Proceedings of 5th International Semantic WebConference (ISWC06), Springer, pp. 116-129. URL: http://img.cs.man.ac.uk/quasar/publications.php(2012-08-17)Ceolin, Davide; van Hage, Willem Robert & Fokkink, Wan (2010). A Trust Model to Estimate the Qua -lity of Annotations using the Web, In: Proceedings of the Web Sci10: Extending the Frontiers of Socie-ty On-Line, April 26-27th, 2010, Raleigh, NC: US. URL: http://journal.webscience.org/315/2/webs-ci10_submission_81.pdf (2012-08-12)Ceolin, Davide; Nottamkandath, Archana & Fokkink, Wan (2012). Automated Evaluation of Annota -tors for Museum Collections Using Subjective Logic, In: Trust Management VI, IFIP Advances in Infor -mation and Communication Technology Volume 374, pp 232-239, URL:http://www.cs.vu.nl/~wanf/pubs/ifiptm12.pdf (2012-08-17)Ceravolo, P.; Damiani, E. & Fugazza, C.(2007). Trustworthiness-related uncertainty of semantic we -b-style metadata: A possibilistic approach. In F. Bobillo, P. C. G. da Costa, C. d’Amato, N. Fanizzi, F.Fung, T. Lukasiewicz, T. Martin, M. Nickles, Y. Peng, M. Pool, P. Smrz, and P. Vojta ́s, editors, Procee -dings of the Third ISWC Workshop on Uncertainty Reasoning for the Semantic Web Busan, Korea,November 12, volume 327 of CEUR Workshop Proceedings. CEUR-WS.org.Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Mea -surement, 20 (1), 37-46.Derntl, Thomas; Hampel, Thorsten; Motschnig, Renate & Pitner, Tomas (2009). Social Tagging undInclusive Universal Access. In: Birgit Gaiser, Thorsten Hampel & Stephanie Panke (Hrsg.), Good Tags– Bad Tags. Social Tagging in der Wissensorganisation, Münster: Waxmann, 51-71. 53
  • 54. Ausblick und EntwicklungenDiakopoulos, N. & Chiu, P. (2007). PhotoPlay: A Collocated Collaborative Photo Tagging Game on aHorizontal Display. In: Proceedings addendum of User Interface Software Technology (UIST). New -port, Rhode Island, October 2007.Diakopoulos, Nicholas & Essa, Irfan (2008). An Annotation Model for Making Sense of InformationQuality in Online Video, In: ICPW 08 Proceedings of the 3rd International Conference on the Prag -matic Web: Innovating the Interactive Society, pp. 31-34, URL: http://www.deakondesign.com/Do -cuments/Diakopoulos_AnnotationModel_final.pdf (2012-08-13)Crystal, Michael R.; Kubala, Francis & MacIntyre, Robert (1999). Studies in Data Annotation Efec -tiveness. URL:http://www.itl.nist.gov/iad/mig/publications/proceedings/darpa99/html/ie10/ie10.htm (2011-09-09)Fuchs, Björn (2006). Definition eines Vorgehensmodells zur Prozessverbesserung mit Hilfe vonCMMI. Diplomarbeit an der TU Darmstadt. URL: http://www.mm.informatik.tu-darmstadt.de/the -ses/2006_04_cmmi_vorgehensmodell.pdf (2011-11-10)Gligorov, Riste & Schreiber, Guus (2012). User-generated Metadata in Audio-visual Collections. In:WWW 2012 – PhD Symposium, April 16–20, 2012, Lyon, France, URL: http://www2012.wwwconfe -rence.org/proceedings/companion/p139.pdf (2012-08-12)Güntner, Georg; Sint, Rolf & Westenthaler, Rupert (2009). Ein Ansatz zur Unterstützung traditionel -ler Klassifikation durch Social Tagging. In: Birgit Gaiser, Thorsten Hampel & Stephanie Panke (Hrsg.),Good Tags – Bad Tags. Social Tagging in der Wissensorganisation, Münster: Waxmann, 187-199.Hofmann, Cristian; Hollender, Nina& Fellner, Dieter W. Fellner (2009). Prozesse und Abläufe beimkollaborativen Wissenserwerb mittels computergestützter Videoannotation. In: Delfi 2009 Procee -dings, URL: https://ini.igd.fraunhofer.de/bibcd/INI_Science/papers/2009/09p100.pdf (2011-11-10).Huang, Chu-Ren; Lee, Lung-Hao; Hong, Jia-Fei; Qu, Weiguang & Yu, Shiwen (2008). Quality Assuranceof Automatic Annotation of Very Large Corpora: a Study based on Heterogeneous Tagging Systems.In: LREC. URL: http://www.lrec-conf.org/proceedings/lrec2008/pdf/686_paper.pdf (2011-11-09)Kittl, Christian & Zeidler, Christian (2007). User Generated Content und Metadatenmanagement. InHMD - Praxis Wirtschaftsinform. 258.Kondert, Florian; Schandl, Thomas & Blumauer, Andreas (2011). Do controlled vocabularies matter?Survey der Semantic Web Company. URL:http://issuu.com/andreas_blumauer/docs/survey_do_controlled_vocabularies_matter_2011_june(2011-11-01)Krömker, Heidi & Herkenrath, Mark (2005). Handbuch Medienproduktion: Produktion von Film,Fernsehen, Hörfunk, Print, Internet, Mobilfunk und Musik. Wiesbaden: VS Verlag für Sozialwissen -schaften.Landis, J. & Koch, G. (1977). The measurement of observer agreement for categorical data. Biome -trics, 33, 159-174.Oleson, David; Sorokin, Alexander; Laughlin, Greg; Hester, Vaughn; Le, John & Biewald, Lukas (2011).Programmatic Gold: Targeted and Scalable Quality Assurance in Crowdsourcing . In: HCOMP, 2011.URL: http://www.crowdsourcing.org/document/programmatic-gold-targeted-and-scalable-quality --assurance-in-crowdsourcing/5136 (2011-11-11)54
  • 55. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der MedienbrancheOssenbruggen, Jacco Van; Stamou, Giorgos & Pan, Jef Z. (2005). Multimedia Annotations and theSemantic Web. In: Semantic Web Case Studies and Best Practices for eBusiness, URL (authorversion): http://repository.cwi.nl/search/fullrecord.php?publnr=11388 (2012-05-27)Prest, Alessandro; Leistner, Christian; Civera, Javier; Schmid, Cordelia & Ferrari, Vittorio (2012). Lear -ning Object Class Detectors from Weakly Annotated Video, In: IEEE Conference on Computer Visionand Pattern Recognition (CVPR), 2012, URL: http://webdiis.unizar.es/~jcivera/papers/prest_etal_cv -pr12.pdf (2012-08-12)Riek, Laurel D., O’Connor, Maria F. & Robinson, Peter (2011). Guess What? A Game for Afective An -notation of Video Using Crowd Sourcing, In: Afective Computing and Intelligent Interaction, LectureNotes in Computer Science Volume 6974, 2011, pp 277-285, URL:http://www.cl.cam.ac.uk/~pr10/publications/acii11b.pdf (2012-08-12)Safadi, Bahjat; Ayache, Stéphane & Quénot, Georges (2012). Active Cleaning for Video Corpus Anno -tation, In: Lecture Notes in Computer Science, 2012, Volume 7131/2012, pp. 518-528, URL:http://mrim.imag.fr/publications/2012/quenot/mmm2012.pdf (2021-08-18)Schafert, Sandra; Hilzensauer, Wolf & Wieden-Bischof, Diana (2009). Social Tagging. In: SandraSchafert u.a., (Meta-) Informationen von Communitys und Netzwerken. Entstehung und Nutzungs -möglichkeiten. Erschienen in der Reihe “Social Media”, hrsg. von Georg Güntner und SebastianSchafert, Band 2. Salzburg: Salzburg Research, 34-46.Schafert, Sandra; Bürger, Tobias; Hilzensauer, Wolf; Schneider, Cornelia & Wieden-Bischof, Diana(2010). Empfehlungen im Web. Konzepte und Realisierungen. Band 3 der Reihe „Social Media“ (hrsg.von Georg Güntner und Sebastian Schafert), Salzburg: Salzburg Research.Schifman, Richard S., Heinrich, Günther (2001). Multimedia-Projektmanagement:Von Der Idee ZumProdukt. Frankfurt: Springer.Schön, Sandra und Kurz, Thomas unter Mitwirkung von Christoph Bauer, Jean-Christoph Börner, Pe -ter M. Hofer, Katalin Lejtovicz, Marius Schebella, Michael Springer, Andrea Wolfinger und Edgar Zwi -schenbrugger (2011). Smarte Annotationen. Ein Beitrag zur Evaluation von Empfehlungen für Anno -tationen. Band 4 der Reihe „Linked Media Lab Reports“, herausgegeben von Christoph Bauer, GeorgGüntner und Sebastian Schafert, Salzburg: Salzburg Research. ISBN 978-3-902448-31-6Schroeter, Ronald; Hunter, Jane & Kosovic, Douglas (2003). Vannotea – A Collaborative Video Inde -xing, Annotation and Discussion System For Broadband Networks, In:Proceedings of the Second In -ternational Conference on Knowledge Capture: K-Cap 2003, URL:http://espace.library.uq.edu.au/eserv.php?pid=UQ:7897&dsID=schroeter-kcap03.pdf (2012-08-12)Sorokin , Alexander & Forsyth, David (2008).Utility data annotation with Amazon Mechanical Turk.In: First IEEE Workshop on Internet Vision at CVPR 08, Alaska, Ancorage. URL: http://vision.cs.uiuc.e -du/annotation/papers/cvpr08_annotation.pdf (2011-11-09)Spiegelman, M., Terwilliger, C., & Fearing, F. (1953). The reliability of agreement in content analysis.In: Journal of Social Psychology, 37, 175-187.Staab, S., Maedche, A., & Handschuh, S. (2001). Creating metadata for the semantic web: An annota -tion framework and the human factor (Tech. Rep. No. 412). Institute AIFB, University of Karlsruhe.Vittayakorn, S. & Hays, J. (2011). Quality assessment for crownsourced object annotations. In Pro -ceeding of British Machine Vision Conference (BMVC). URL: http://www.cs.brown.edu/~hays/Anno -tationQuality/ (2012-08-12) 55
  • 56. Ausblick und EntwicklungenVondrick, Carl; Patterson, Donald & Ramanan, Deva (2012). Efficiently Scaling Up Crowdsourced Vi -deo Annotation A Set of Best Practices for High Quality, Economical Video Labeling In: InternationalJournal of Computer Vision, URL: http://mit.edu/vondrick/vatic/ijcv.pdf (2012-08-12).Wikipedia (2010). Annotation. Online verfügbar: http://de.wikipedia.org/wiki/Annotation [2010-12-12]Wirtz, Bernd W. (2006). Medien- und Internetmanagement. Wiesbaden: Gabler Verlag.Yamamoto, Daisuke; Masuda, Tomoki; Ohira, Shigeki and Nagao, Katashi (2008). Video Scene Anno -tation Based on Web Social Activities, In: IEEE Multimedia, pp. 22-32, URL http://tk-www.elcom.ni -tech.ac.jp/~daisuke/pdf/trans/ieee_2008_03.pdf (2012-08-23)Zhang, Xiaoyu; Xu, Changsheng; Cheng, Jian; Lu, Hanqing & Ma, Songde (2008), Automatic semanticannotation for video blogs. In: IEEE international conference on multimedia and expo ICME 2008proceedings, URL: http://www.nlpr.labs.gov.cn/2008papers/gjhy/gh32.pdf (2012-08-12)56
  • 57. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche LINKED MEDIA LAB REPORTS – DIE NEUE REIHE DES SNML-TNGDies ist das vierte Band in der neuen Reihe „Linked Media Lab Reports“ des Salz-burg NewMediaLab – The Next Generation (herausgegeben von Christoph Bauer,Georg Güntner und Sebastian Schaffert). In dieser Reihe werden in Deutsch oderin Englisch Werkstattberichte veröffentlicht, also Beiträge mit eher konzeptionel-len Charakter und Anleitungen. Die nächsten Bände sind bereits in Vorbereitung. Band 1 Linked Media. Ein White-Paper zu den Potentialen von Linked People, Linked Content und Linked Data in Unternehmen. (Salzburg NewMediaLab – The Next Generation) ISBN 978-3-902448-27-9 Issue 2 (auf Englisch) Linked Media Interfaces Graphical User Interfaces for Search and Annotation (Marius Schebella, Thomas Kurz and Georg Güntner) ISBN 978-3-902448-29-3 Issue 3 (auf Englisch – noch nicht erschienen) Media Objects in the Web of Linked Data Publishing Multimedia as Linked Data (Thomas Kurz) ISBN 978-3-902448-30-9 Band 4 Smarte Annotationen Ein Beitrag zur Evaluation von Empfehlungen für Annotationen. (Sandra Schön, Thomas Kurz und andere) ISBN 978-3-902448-31-6 Band 5 Qualitätssicherung bei Annotationen Soziale und technologische Verfahren in der Medienbranche ISBN 978-3-902448-32-3 57
  • 58. Ausblick und Entwicklungen SOCIAL MEDIA – DIE PUBLIKATIONSREIHE DES SNML-TNGIn der Reihe „Social Media“ des Salzburg NewMediaLab (herausgegeben von Ge-org Güntner und Sebastian Schaffert) sind bisher folgende Bände erschienen: Band 1 Erfolgreicher Aufbau von Online-Communitys. Konzepte, Szenarien und Handlungsempfehlungen. (Sandra Schafert und Diana Wieden-Bischof) ISBN 978-3-902448-13-2 Band 2 (Meta-) Informationen von Communitys und Netzwerken. Entstehung und Nutzungsmöglichkeiten. (Sandra Schafert, Julia Eder, Wolf Hilzensauer, Thomas Kurz, Mark Markus, Sebastian Schafert, Rupert Westenthaler, Rupert und Diana Wieden-Bischof) ISBN 978-3-902448-15-6 Band 3 Empfehlungen im Web. Konzepte und Realisierungen. (Sandra Schafert, Tobias Bürger, Cornelia Schneider und Diana Wieden-Bischof) ISBN 978-3-902448-16-3 Band 4 Reputation und Feedback im Web. Einsatzgebiete und Beispiele. (Sandra Schafert, Georg Güntner, Markus Lassnig und Diana Wieden-Bischof) ISBN 978-3-902448-17-0 Band 5 – in Kooperation mit evolaris und Salzburg Research Mobile Gemeinschaften. Erfolgreiche Beispiele aus den Bereichen Spielen, Lernen und Gesundheit. (Sandra Schön, Diana Wieden-Bischof, Cornelia Schneider und Martin Schumann) ISBN 978-3-902448-25-558
  • 59. QUALITÄTSSICHERUNG BEI ANNOTATIONEN. Soziale und technologische Verfahren in der Medienbranche 59
  • 60. Ausblick und Entwicklungen60

×