Zahra Mousavi, front-end udvikler & Mette Kia Krabbe Meyer, seniorforsker, Det Kgl. Bibliotek: Det Kgl. Bibliotek har i forskellige projekter anvendt automatiserede processer i arbejdet med billeder i samlingen.Vi fortæller om erfaringerne med automatisk generering af metadata og med forskellige visualiseringsværktøjer og også om de mål, vi gerne vil nå i fremtiden, hvad billedbehandling og maskinlæring angår.

1. Human-in-the-loop
på Det Kgl. Bibliotek
Zahra Mousavi
MS i Artificial Intelligence, front-end udvikler
Mette Kia Krabbe Meyer
Ph.d. i Kunst- og Kulturvidenskab, seniorforsker
THE FUTURE IS NOW Billedgenkendelse og maskinlæring i arkiver,
på biblioteker og museer LFF-kursus torsdag 30. januar 2020
Historiens Hus, Odense

2. Billedsamlingen
ca. 1904
Accession
6 satiriske flyveblade, 73
kulturhistoriske blade, 167
topografiske blade og 910
portrætter

3. Danske
historiske
blade
Metadata
Kartotekskort
Accessionsprotokol
Kuverter og læg
Noteringer bag på billeder

7. Billedsamlingen 2019
Accession
Digitalt materiale, primært gennem
Netarkivet, domænet .dk mm.
1.020.527.574
Fysiske billeder, fx albums, fotokunst,
fotografiske arkiver
2.178

8. Trine Søndergaard: Strude #19
Erhvervet med bevilling fra Ny
Carlsbergfondet
Udstilles i ny permanent fotoudstilling
Kameraet og os 2020

9. Metadata
Digitaliserede fysiske
samlinger
Manuel inddatering
Datamining af scannede protokoller
Emneord genereret ved billedgenkendelse
Maskinelt tekstudtræk
Digitalt født materiale
Netarkivet (arkiveret med tekst og søges fx
i BlackLight eller som eksakt identisk
billedfil i tekst i tilknytning til billedet i
SolrWayback)
Titel
Mand på stranden
Ophav
Børgesen, Frederik fotograf,
botaniker
Ressourcetype
Fotografi
Emne
Strande
Mænd
Skove
Lokalitet
De Vestindiske Øer.
Id
DT134667.tif
Opstilling
Billedsamlingen. Topografisk
samling. Vestindien. Forel. Plac. |
Relateret
Det Kgl. Biblioteks billedsamling
Dimension
1964 x 1293 (pixels)
Ophavsret
Materialet er muligvis beskyttet af

10. februar 2020
Titel
Store flimmerblomster uden Duft. Hibiscus
Ophav
Eriksen, Birgitte
Ressourcetype
Akvarel
Oprindelsesdato
1908
Emne
Blomster
Planter
Botanik
Lokalitet
De Vestindiske Øer. St.Croix
Id
DT134736.tif
Opstilling
Billedsamlingen. Topografisk samling.
Vestindien. Planter og dyr. Tegninger 1 4°
Relateret
Det Kgl. Biblioteks billedsamling
Dimension
3844 x 2536 (pixels)
Ophavsret

11. ©Sigrid Nygaard, Information 2015

12. Artificial Intelligence(AI) at the Royal Danish library (KB)
Challenges
AI solutions
Shortcomings of AI solutions
Human In The Loop solution
Future dreams and plans
Past Present Future

13. AI CVML
AI = Artificial Intelligence
ML = Machine Learning
CV = Computer Vision
Artificial Intelligence, Machine learning and Computer vision

14. Our challenges
Not enough resource to give images metadata
Not enough resource to make texts in the images searchable
or available to the user
Lots of (almost) identical images in the collections

15. Designed by starline / Freepik

16. Our major AI solutions until now
AI
Finding
similar
images
Labelling
images
Text
recognition
Text
Correction

17. Our AI solutions
- Finding similar images
Technology: t-SNE algorithm and RasterFairy
tool + sklearn(VGG16 imagenet)
Collections: Emdrup’s wallcharts
(anskuelsestavler) collection and KB’s Maps
and Atlas collection
URL:
http://labs.statsbiblioteket.dk/juxta/subject20
8/

19. Our AI solutions
- Finding similar images
Technology: Bag-of-Features algorithm, MATLAB’s
Computer Vision Toolbox
Collections: part of portrait collection

20. Our AI solutions
- Labelling images
Project: AIM
Technology: Google vision API and Google
translation API
Collections: portrait and postcard
collection
Photograph
vintage clothing
Human behavior
Art
Antique
picture frame
visual arts
Vision API
Fotografi
Vintage tøj
Menneskelig adfærd
Kunst
Antik
Billedramme
visuel kunst
Translation API

21. Our AI solutions
- Text recognition
Project: AIM
Technology: Google vision API
Collections: portrait and postcard
collection
Det udvalgte Maleri paa Kunstmuseet er i de naæste Uger et ikke
særlig kendt, men fortrinligt Portræt af Christian II. Man kan ty
deligt se, hvem Portrættet fremstiller; Ligheden er dog lidt fjern,
og det maa formodes, at Kunstneren ikke har arbejdet lige efter sin
fornemme Model, men har maattet benytte en Tegning eller lig-
nende Mellemled; til Gengæld har han moret sig med at gøre meget
ud af de sære Hænder med lange sensible Fingre. Det interessante
Maleri, der er fra ca. 1515, lader sig ikke med Sikkerhed henføre
til en bestemt Kunstner
Vision
API
I O H A N N E S . K o n g e t i l D a n m a r k S v e r r i g o g N o r g e d e V e
n d e r s o g G o t h e r s H e r t u g i S l e s v i g H o l s t e n S t o r m , o g D
i t m a r G r e v e i D e b . o r D e l m e n h .
F o 2 . 2 4 5 6 . D o d . 2 5 1 3 . R e g . 3 2 . d a r
Vision
API

22. Project: Mediestream
Technology: Word2vec algorithm
Collections: newspaper collection
URL:
http://www2.statsbiblioteket.dk/mediestream/
avis/search/anderion
Our AI solutions
-Text Correction

23. Shortcomings in relation with AI solutions
Errors in text recognition
Errors in labelling images
Error in translations
Not having a precise border
between an image and it’s similar
image
Output from AI techniques are not always
accurate or most of the times even not
accurate enough
Designed by gstudioimagen / Freepik

24. Human-in-the-Loop (HITL) Machine Learning
Designed by gstudioimagen / Freepik
AI System Human intelligence Reliable system
“Human-in-the-Loop machine learning refers to the need for human interaction with machine learning systems
to improve human performance, machine performance, or both.” Robert Munro

25. Traditional HITL
Output
Confident
NotConfident
AI System
Domain expert

26. Traditional HITL
Project: AIM (Automatic Image
Metadata)
Purpose: Providing the opportunity to
correct translations, approve or reject a
label for a specific project or for all the
projects

27. Designed by gstudioimagen / Freepik

28. Modern HITL
Output
Confident
NotConfident
AI
System
Human
Active learning Designed by gstudioimagen / Freepik

29. DATA
Expertise
HITL
HUMAN
RESOURCE
We have what it takes
1- Data
2- Human resource
3- Expertise

30. Link graph from the Danish Netarchive for sites
mentioning commodore 64 or amiga
Massive amount of data (images,
photos, videos, etc)
We have what it takes
- Data

31. We have what it takes
- Human resource
Dedicated users willing to spend
their time on improvement of our
systems for free – 7,498,760 hours
corresponds to 65 years of work
(danmarksetfraluften - 2012)
Statistic from http://www5.kb.dk/danmarksetfraluften
Maybe you would also like to help us with our new project

32. Collaboration with Copenhagen
University, Department of Computer
Science, Image Section
Special thanks to:
Kim Steenstrup Pedersen and
colleagues
We have what it takes
- Expertise

33. http://clipartmag.com
http://clipartmag.com