Konrad cedem praesi

507
-1

Published on

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
507
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Hallo
    Willkommen zur Präsentation meiner Masterarbeit. Der Titel der arbeitet lautet
    Bei so einem langen Titeln hilft es immer die einzelnen Bestandteile genauer zu betrachten.
    Es ging in der Arbeit ganz zentral um Metadaten und deren Qualität.
    Nun ist Metadaten allein zu allgemein.
    Es geht um Metadaten im Bereich Open Government Data, d.h. öffentlichen Verwaltungsdaten
    wie man diese messen und die Ergebnisse am Ende präsentieren kann
  • Nun haben öffentliche Verwaltungsdaten immer noch den Beigeschmack, dass es sich hierbei um offene Daten handeln kann.
    Kostenlos heißt aber nicht automatisch offen
    Offen sind die Daten erst wenn folgende Definition gilt.
  • - >> Vorlesen <<
    - Das Takeaway von dieser Folie ist die Lizenz.
  • - Denn nur mit einen offenen Lizenz, die dem Datenkonsumenten genügend Rechte einräumt sind die Daten offen.
  • - Schauen wir uns also die Domäne an in der öffentliche Verwaltungsdaten umgesetzt sind.
    Wir haben die Regierung, diese erfässt Daten, erstellt Statistiken, führt Umfragen durch.
    Einfach damit diese ihre Arbeit machen können, finanziert von Steuergeldern. Nun haben wir die Bürgerinnen und Bürger, denen man diese Daten zur Verfügung stellen möchte.
  • Um das zu erreichen werden Repositories installiert, die als Datenportale eingesetzt werden um die Daten der Regierung, nun in Form von digital Resourcen zugreifbar zu machen.
    So weit so gut, dass Problem ist nur, dass es sich hier nicht um wenige Dokumente handelt, sondern um zehntausende.
    Diese müssen auffindbar gemacht werden. Hier kommen die Metadaten ins Spiel.
    Durch sie werden die Daten indiziert und katalogisiert. Die Daten haben aber vor allem noch einen ganz anderen Zweck.
    Wer sagt das die Daten alle auf einem Server liegen. Wer hier an Deutschland denkt,
    Föderalismus dem sollte schnell klar werden, dass bspw. das Land Bayern ungern die Daten in Berlin ablegen würde oder umgekehrt.
    Und das ist auch irgendwo gut so, denn nicht nur die Daten sind verteilt, sondern auch die Kompetenz zu diesen Daten.
    Für die Metadaten bedeutet das einfach, dass auf die eigentlichen Resourcen mit URLs verwiesen wird, d.h. nicht nur was steht in den Ressourcen drin, sondern auch: Wo kann ich sie finden?
  • Zur Metadaten Qualität.
    Es ist wohl eine berechtigte Frage, was es hier an Qualität zu bemessen gibt.
    Qualität, also wie gut sind die Daten hier?
    Aber was soll es schon für Probleme geben bei ein paar Feldern die jeweils Werte haben. Zum Beispiel den Namen des Datensatzes, Autor, Kontakte, die Ressourcen selber.
  • - Es fängt bei ganz einfachen Dingen an.
    - Felder sind vielleicht nicht ausgefüllt, d.h. der Datensatz wird evtl. unollständig.
  • Ein Metadatensatz verweist auf die Ressourcen. Was ist also die Aufgabe von so einem Metadatensatz?
    Er soll die Resourcen so genau wie möglich beschreiben.
    Hier sind beide Resourcen als CSV Datei beschrieben, eine URL verweist aber auf eine HTML Seite.
    Das ist inkorrekt.
  • Noch schlimmer aber, wenn die Resourcen gar nicht mehr erreichbar sind aufgrund.
    Dann haben die Metadaten eine ganz entscheidene Funktion verfehlt.
  • Aber es gibt noch zahlreiche weiter Beispiele, wie verfehlte Übereinstimmung mit dem Schema,
    d.h. die Werte fehlen nicht nur, sondern im Datensatz war dieses Feld gar nicht erst vorgesehen.
  • Wo uns das ganze hinbringt ist klar, Qualitätsverlust.
    Qualitätsverlust bei Daten führt vor allem zu Informationsverlust
    Für die Daten bedeutet das, dass sie schlecht auffindbar werden.
    Für das Datenportal aber bedeutet es sogar, dass es unzuverlässig und damit unglaubwürdig wird.
    Wir wissen nun, was zu Qualitätsverlusten in Metadatensätzen führen kann.
    Was aber noch fehlt ist eine allgemeine Definition von Metadatenqualität.
    Oder anders ausgedrückt: Wann haben denn die Metadaten nun eine gute Qualität?
  • In meiner Arbeit bin ich zu folgender Definition gekommen. >> Vorlesen <<
    D.h. ein Metadatensatz erfüllt dann seine Aufgabe gut, wenn es dem Anwender dabei hilft,
    die eigentlichen Resourcen, um die es ja geht, zu finden, identifizieren, auszusuchen und zu beziehen.
    Vor allem bedeutet es, dass umso sicherer der Anwender ist, um was für Resourcen es sich handelt, desto höher ist die Qualität der Metadaten.
    Und damit sind wir auch schon ziemlich genau bei dem Punkt, wie nun die Qualität gemessen, bestimmt werden soll.
  • Qualität messen, immter Kontext, Repräsentation Resource
    Warum schwer? Faktoren finden, Aussagekraft MD steigern
    Grund, warum Qualität subjektiv ist, jeder hat eine andere Auffassung davon, was wichtiger ist in dem MD
    Fehlendes Schlüsselwort, vertretbar oder katastrophal?
    quantifizieren? 2 Wege
    Qualitätsraster, Werkzeugunterstützung
  • empirische Analyse. In der Anzahl verwendeter Felder und deren Werte betrachtet werden.
    umfangreicher, generischer beschrieben ganze Frameworks um die Qualität zu messen.
    Informations Qualität, inwiefern erzeugen die Werte MDRecord dazu Information zu erzeugen.
    Das ist dann weiterhin beschrieben als intrinsisch
    rein auf den Inhalt des Metadatensatzes, unabhängig vom Kontext,
    Relational bzw. kontextbezogen, hier geht es vor allem wer hat den Datensatz erstellt, was, warum,
    wo, usw. und Ruf, hier geht auch darum wie vertrauenswürdig ist die Quelle aus der die Daten stammen.
    Qualität nicht als solches erfasst, sondern aus Qualitätsfaktoren, Summe
  • Einer der diese Ansäte implementiert sind Qualitätsmaße bzw. Qualitätsmetriken.
    Ochoa und Duval haben in dem Bereich schon einige Metriken entwickelt, zwar im Bereich Learning-Objects,
    aber vom Gegenstandspunkt ist das nicht anders als bei Metadaten für öffentliche Verwaltungsdaten.

    Ansatz implementiert durch Qualitätsmaße
    Großteil von Ochoa und Duval, aber Learning Objects
    Kein Unterschied
  • Ein Maß, formalisiert, immer ein Prozess
    Prozess, symbolischer Wert Objekt zuweisen, Beschreibung eines Attributes
    Qualität, komplexes Attribut, nicht nur Metadaten
    Einzelnes Maß, nicht alle Aspekte abdecken
    Qualitätsmetrik runterbrechen, Qualitätsmetrik q, Attribut m
    Eingabe immer Metadatensatz, Typ t
    Funktion weißt symbolischen Wert zu, hier 0-1
    Einige Metriken betrachten
  • Completeness, wie vollständig, objektiv
    Schema gegeben, wie viele Felder
    Ideale Repräsentation der Resource
    Fehlen Felder: nicht mehr vollständig
  • Nicht jedes Feld gleichwichtig, Beispiel Titel vs. Cache
    w_i drückt das aus
  • Accuracy Metrik, Kerngedanke MD-Qualität
    Funktion sehr allgemein durch semantische Distanz d_i
    Differenz Information aus MD und Resource
    Idealistisch, wie d_i für Feld i bestimmen?
    wahr, falsch bei Format, Datum graduell Punkte abziehen
  • Richness of Information, intrinsisch, Texte, Kategorien, Zahlenwerte
    Intrinsisch, weil unabhängig von Resource
    Verteilung der Informationen, alle Metadaten
    Idee: Wörter, Vokabular, beschreibenen Texten, Kategorien, viel Informationen
    Wichtig für Suchbarkeit
    Informationsgehalt, Funktion I, Schlusselwörter, numerische Werte, 1 – Entropie, Verteilung
    Texten, Term Frequency-Inverse Document Frequency, Textanalyse
    Wörter in vielen Dokumenten, schlecht
    Nicht nur Gesamtcorpus, Bezug zum Dokument (MD)
  • Readability, Metrik, bedienen aus Forschungsbereichen
    Lesbarkeitsindizes, Flesch-Kincaid, Wörter, Silben, Sätze.
    Wert ywischen 0 und 100
    Texteignung´, Altersgruppe, Bildungsabschnitt
  • einfacher, Verfügbarkeit, verlinkte Resourcen
    Effektiv: Link Checker
    Wirksam, normal aus Wartung gehen Links tot
  • ein, zwei weitere Metriken, u.a. Rechtschreibung, aber Idee klar
    Metrik repräsentiert Qualitätsfaktor
    Teil übernommen, angepasst, entworfen
    Arbeit nicht nur über Metriken, viel Zeit investieren
    Implementierung und Präsentation
    Ergebnis Platform, Metadata Census, Webanwendung
  • Anforderungen, Harvester, rechenintensiv, fragil,
    Schemafreie Datenbank, Metriken als Modularer Bestandteil, Kern der Anwendung
    Visualisierung, mehr als ein numerischer Wert pro Metrik
    Leaderboard
    Skalierbarkeit
    Erweiterbarkeit
  • Modellierung, Domäne, Repositories
    Mehrere Snapshots, Zeitdimension
    Snapshot wenigstens einen Metadatensatz
    Metadatensatz, sowie Ergebnisse
  • Alle Metriken erben von Metrik
    Berechnungen immer pro MD
    Vererbung wo möglich
    Worker Klassen, Berechnungen auszulagern
    Vererbung, notwendige Initialisierung
  • Harvester, Repositories über APIs
    JSON
  • Import separat, höhere Flexibiliät
    Entwicklungsphase, internes Schema ändert sich, komplexe Queries umgehen
    Sauberer und schneller
    Analyse bereits beim Import: Anzahl Resourcen, Sprache
  • - Scheduler, Anwendung der Metriken auf die MD
  • Generierung verschiedener Views
    In jedem Fall pro Metrik, View, Detailinformationen
    Nutzer Nachforschungen anstellen
  • Anwendung, Test zur Evaluation
    Open Government Portale
  • Fast auschließlich OGP von Ländern, offizielle, DT, Schweiz, Uruguay, usw.
    Repository Sofware CKAN, entwickelt vom OKFN
    Gewinnt an Popularität
  • Tabelle erklären
    Denke immer es sind 10, sind aber 14
    Einige besser, andere schlechter
    Accuracy bei vielen schlechter, HTML, Schweiz, Excell
    Details sind wichtiger, einzelne Views
    Oftmals unberechtigt, Spezialfälle
    Textanalyse bei russischem Portal, kyrillisch
    Gewichtung
  • - Bewertung
  • voll-automatisch
    Generisch, bestimmte MD Klassen, JSON
    Ziel der Arbeit: erreicht, Qualität wird quantifiziert, Score
    Wiederholbar, durch externe Datenhaltung, keine Kosten, Stromkosten
    Großer Vorteil: Modularität der Metriken
    Einfach neue hinzuzufügen, aufgenommen, fließen mit ein
    Jede Metrik ergänzt das Bild der Qualität ein bisschen mehr
  • Platform Signalwirkung
    Tool in Datenportale integrieren, QA
    Fehlende Transparenz, Vergleichbarkeit
    Metadata Census, alle sehen
  • Anzahl und Qualität der Metriken selber
    Score zu abstrakt, Deatails geben mehr Informationen
    Leaderboard sinnvoll für Zweck aber Ergebnisse müssen schneller klar werden
    Empirische Analyse weiterer Ansatz, sollte integriert werden, Feldnutzung betrachten
    Lorem Ipsum Text
  • Qualität wird oft als Exzellen verstanden, aber bei Metadatenqualiät ist das der falsche Ansatz. Es geht nicht darum den perfekten Metadatensatz zu erstellen, was auch immer das sein soll, sondern es geht darum, die Metadaten die offensichtliche Makel haben, tote Links, fehlene Informationen zu verbessern. Das Diagram hier ist ein Histogram aus der Anwendung, das hier Verteilung der Metadatensäte zeigt. Also über 50 mit einem Score zwischen 60-65, knapp 100 mit einem Score zwischen 65-70 usw.

    Es geht nicht darum alle auf 100 zu bringen, sondern es geht darum die hier auf ein gleiches Niveau anzuheben und das geht meistens relativ einfach.
  • Zum Ausblick, was kann man noch machen_
  • Weitere Repository Software unterstützen. Socrate wird viel auch im US Raum eingestezt. Ein Qualitfeed damit die Daten aktueller werden, d.h. auch kleinere Änderungen aufzeichnen und darstellen, natürlich mehr Metriken.
  • Eine eigene DSL um Metriken noch individueller zu gestalten und ein Revisionsystem. Mit jedem Snapshot wird viel Redundanz erzeugt, es würde genügen sich nur die Änderungen zu speichern.
  • Konrad cedem praesi

    1. 1. Visualization of Metadata Quality for Open Government DataKonrad Johannes Reiche*, Edzard Höfig, Ina Schieferdecker**, presented by Nikolay Tcholtchev** konrad.reiche@gmail.com*, {firstname.lastname}@fokus.fraunhofer.de**
    2. 2. “A piece of content or data is open if anyone is free to use, reuse, and redistribute it — subject only, at most, to the requirement to attribute and/or share-alike.” O·pen Da·ta /ˈəʊp(ə)n ˈdeɪtə/
    3. 3. “A piece of content or data is open if anyone is free to use, reuse, and redistribute it — subject only, at most, to the requirement to attribute and/or share-like.” O·pen Da·ta /ˈəʊp(ə)n ˈdeɪtə/
    4. 4. Government Data Citizens DOMAIN
    5. 5. Government Data Citizens DOMAIN DESIGN Repositories XML JSON RDF Metadata PDF XLS CSVDOC Resources
    6. 6. Quality. What could possibly go wrong? Metadata Record Name regional-household-income ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Margaret Jarmon Maintainer Email magaret.jarmon@cabinet-office.x.gsi.gov.uk Author Office for National Statistics Author Email webmaster@cabinet-office.x.gsi.gov.uk License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Spring 2014 Format CSV
    7. 7. Quality. What could possibly go wrong? Metadata Record Name regional-household-income ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Maintainer Email Author Office for National Statistics Author Email License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Format CSV
    8. 8. Quality. What could possibly go wrong? Metadata Record Name regional-household-income ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Maintainer Email Author Office for National Statistics Author Email License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Format CSV CSV HTML
    9. 9. Metadata Record Name regional-household-income ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Maintainer Email Author Office for National Statistics Author Email License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Format CSV Quality. What could possibly go wrong? CSV
    10. 10. Metadata Record Name ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Maintainer Email Author Author Email License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Format CSV Quality. What could possibly go wrong? CSV
    11. 11. Reputation Loss QUALITY LOSSInformation Loss - Missing Fields - Dead Links - Inaccurate Information - False Information - Outdated Values - Missing Information - Bad Spelling - Non-Schema Compliant Bad Searchability Unreliable Untrustworthy
    12. 12. Meta·da·ta Qual·i·ty /ˈmɛtədeɪtə kwɒlɪti/ The fitness to describe the data (resources), supporting the task dimensions of finding, identifying, selecting and eventually obtaining the resources. The quality is inversely proportional to the uncertainty of the user about the actual data.
    13. 13. Assessing Metadata Quality is HARDHighly Subjective Metadata Resource ? 1. Manual 2. Automated Wrong Qualified Process Principles + Guidelines Postulated as being not feasible anymore due to the large number of metadata records. - Algorithms? - Procedures? - Oracle? - Machine Learning?
    14. 14. Automated Quality AssessmentEmpirical Analysis + Visual Aid - Field Usage - Field Values Framework - Based on Information Quality - Three Dimensions: - Intrinsic - Relational / Contextual - Reputational - Evaluation Criteria - Completeness - Accuracy - Provenance - Logical Consistency - Timeliness …
    15. 15. QUALITY METRICS
    16. 16. 𝑞 𝑚 : 𝑟𝑒𝑐𝑜𝑟𝑑 𝑡 ⟶ 𝑉 ∈ [0, 1] Measurement. Assigning a symbolic value to an object to enable the characterization of a certain attribute of that object. Process P Quality. Complex Attribute. No single measure. Highly Subjective. Use of Proxies.
    17. 17. Completeness. How many fields have been completed? Record contains all the information required to have an ideal representation of the described resource. Metadata Record Name uk-civil-service-high-earners ID 68addaac-59ae-4230-bb67-c5a8f6a76285 Maintainer Maintainer Email Author Civil Service Capability Group Author Email webmaster@cabinet-office.x.gsi.gov.uk License ID uk-ogl Resources Size 40959 Description Civil Servants Salaries 2010 Format CSV Size Description Civil Servants Salaries 2011 Format CSV
    18. 18. Weighted Completeness. Not all fields are equally relevant. Weight value 𝑤𝑖 expresses the relative importance of field 𝑖. Metadata Record Name uk-civil-service-high-earners ID 68addaac-59ae-4230-bb67-c5a8f6a76285 Maintainer Maintainer Email Author Civil Service Capability Group Author Email webmaster@cabinet-office.x.gsi.gov.uk License ID uk-ogl Resources Size 40959 Description Civil Servants Salaries 2010 Format CSV Size Description Civil Servants Salaries 2011 Format CSV
    19. 19. Accuracy. How accurate is the resource represented? Semantic distance 𝑑𝑖. Difference between the information a user can extract from the record and the resource. Metadata Record Name regional-household-income ID 98899446-0a1a-43bc-874c-2d54dc700670 Maintainer Maintainer Email Author Office for National Statistics Author Email License ID uk-ogl Resources URL http:/ / www.ons.gov.uk/ ons/ rhi13 Description Spring 2013 Format CSV URL http:/ / www.ons.gov.uk/ ons/ rhi14 Description Format CSV CSV HTML
    20. 20. Richness of Information. How much value is added? 𝑞𝑖 𝑟𝑒𝑐𝑜𝑟𝑑 = 𝑖=1 𝑛 𝐼 𝑓𝑖𝑒𝑙𝑑𝑖 𝑛 Vocabulary terms and descriptions should be meaningful. Information should be unique and not redundant. 𝑚 Number of Documents Number of Words𝑛
    21. 21. Readability. How readable are the descriptions? 𝑞 𝑟 𝑟𝑒𝑐𝑜𝑟𝑑 = 206.836 − 1.015 𝑤𝑜𝑟𝑑𝑠 𝑠𝑒𝑛𝑡𝑒𝑛𝑐𝑒𝑠 − 84.6 𝑠𝑦𝑙𝑙𝑎𝑏𝑙𝑒𝑠 𝑤𝑜𝑟𝑑𝑠 Readable in terms of cognitive accessibility. Flesch-Kincaid Reading Ease
    22. 22. Availability. Are the links working? 𝑞 𝑎𝑣 𝑟𝑒𝑐𝑜𝑟𝑑 = 𝑖=1 𝑛 𝑎𝑖 𝑛 Metadata only links to the resources. Without working links the actual data is not available. 𝑎𝑖 is true if the 𝑖th resource is reachable through the URL.
    23. 23. Implementatio Metadata Census
    24. 24. REQUIREMENTS Metadata Harvester Schemaless Data Store Quality Metrics Visualization Leaderboard Scalability Extensibility Non-functional Functional
    25. 25. Repository + url : String + name : String + type : Symbol Snapshot + date : Date MetaMetadata + metadata_record : Hash + score : Float + statistics: Hash + completeness : Hash + weighted_completeness : Hash + richness_of_information: Hash ... + latitude : String + longitude : String + best_record() : MetaMetadata + worst_record() : MetaMetadata + score() : Float 0..* 1..* DESIGN.
    26. 26. CompletenessMetric WeightedCompleteness <<Interface>> Metric + compute(record) MetricWorker + perform(snapshot, metric) GenericMetricWorker CompletenessMetricWorker OpennessMetric <<use>> <<use>> <<use>>
    27. 27. Metadata Harvester JSON JSON JSON Archives APIRequests Records
    28. 28. Imports Persist Metadata Census Metadata Harvester JSON JSON JSON Archives APIRequests Records Preliminary Analyzer Dump Importer Database
    29. 29. Imports Persist Metadata Census Metadata Harvester JSON JSON JSON Archives APIRequests Records Metric Processor Query Records Scheduler Analyzer Preliminary Analyzer Dump Importer Database
    30. 30. ViewUser Generates Investigates Imports Persist Metadata Census Metadata Harvester JSON JSON JSON Archives APIRequests Records Metric Processor Query Records Scheduler Analyzer Preliminary Analyzer Dump Importer Database
    31. 31. Open Government Data. Evaluation
    32. 32. Implementation focused exclusively on CKAN repositories.
    33. 33. Rank Repository Scor Misspelling Richnessof Information Openness Completeness Availability Weighted Completeness Readability Accuracy 1 data.gc.ca 74 97 86 80 79 79 81 71 20 2 data.sa.gov.au 71 98 63 94 77 86 82 72 0 3 GovData.de 67 99 4 38 55 81 87 79 56 4 data.qld.gov.au 66 99 67 96 73 60 78 59 0 4 PublicData.eu 66 98 84 69 64 70 67 42 32 4 data.gov.uk 66 97 85 69 62 74 67 44 28 4 africaopendata.org 66 100 20 78 70 87 68 55 53 5 datos.codeandomexico.org 65 100 55 84 65 100 75 37 0 6 catalogodatos.gub.uy 63 100 64 1 70 74 78 65 52 6 data.openpolice.ru 63 100 0 0 58 100 81 100 64 7 dados.gov.br 61 100 87 36 53 57 72 44 39 8 opendata.admin.ch 59 100 12 0 58 100 68 35 100 9 data.gv.at 57 100 21 99 51 68 65 59 0 10 data.gov.sk 49 100 51 0 48 92 58 37 7
    34. 34. Conclusi on
    35. 35. What is good about this approach? Metadata quality is quantified, but every quality aspect on its own. Metric scores are aggregated to make it comparable. Every additional quality metric is supposed to complete the quality puzzle. Automated — Generic — Quantifiable — Repeatable
    36. 36. Platform has the advantage that it acts as a beacon... If your metadata breaks bad everyone will see it.
    37. 37. What is bad not so good about this approach? - Lacks number of quality metrics - No empirical analysis beforehand - Overvalues problems with the metadata More quality metrics are necessary. Current metrics need to consider more special cases in the metadata records.
    38. 38. Final Thought. Do not aim for excellence, aim for low-quality metadata.
    39. 39. Quality Feed. Monitor metadata changes live and record changes in a timeline. Repository Support. There are more repository software with public APIs. Socrata being most prominent. More Quality Metrics - Duplicate Detection - Discoverability - Coherence - Advancement - Reputation
    40. 40. Metadata Revision System. Avoid storing whole snapshots, but the change set. Domain-Specific Language. Make it even easier to add individual quality metrics.
    41. 41. DEMOmetadata-census.com
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×