Tutorial over tekstclassificatie tijdens de NOTaS-dag bij het Nationaal Archief.

1. Automatische classificatie van teksten
Suzan Verberne
20 september 2016
NOTaS-bijeenkomst bij Nationaal Archief

2. Wie ben ik
• PhD from Radboud University in 2010, on Information Retrieval / Natural
Language Processing
• Research topics since then:
- Text classification
- Information Extraction
- Personalized content filtering
- Information seeking behavior
- Information access for the humanities
- Summarization of discussion forum threads
• Teaching:
- Text Mining
- Information Retrieval

3. Wat is tekstclassificatie?

4. Spam of geen spam?

5. Spam of geen spam?

6. Spam of geen spam?

7. Tekstclassificatie
• Op basis van welke kenmerken heb je je beslissing genomen?
• Classificatieprobleem: kiezen tussen twee of meer alternatieven (classes)
• De kenmerken die je gebruikt om je beslissing te maken zijn features
• Voor tekstclassificatie worden meestal de woorden uit het document
gebruikt als features

8. • Binaire classificatie (twee categorieën)
• Multi-class / one-of classificatie
• Multi-label classificatie

9. Voorbeeld-toepassingen
• Zijn deze taken binair, multi-class of multi-label?

10. Spamdetectie

11. Taalherkenning

12. Het indelen van nieuws in secties

13. Het indelen van boeken in genres

14. Het indelen van archiefstukken naar proces

15. Het toekennen van trefwoorden aan archiefstukken

16. Wat is nodig voor tekstclassificatie?

17. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

18. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

19. Definieer je taak
• Wat is de teksteenheid die je wilt classificeren?
- Hele documenten (denk aan een e-mailarchief: classificatie per bericht)
- Secties? (denk aan notulen, of partijprogramma’s)
- Zinnen? (denk aan taalherkenning of sentimentclassificatie)
• Wat zijn de categorieën?
• Voorbeeld-probleem:
Verkiezingsprogramma’s geannoteerd door Isaac Lipschits

23. Lipschits-classificatie-probleem
Doelen (PoliticalMashup project):
1. Digitaliseer de 1977–1998 Lipschits collecties
2. Bouw een automatische classifier voor recentere, ongeannoteerde edities
Aanpak:
1. Zet de gescande PDF’s uit 1986, 1994 en 1998 om naar teksten met labels
2. Train en evalueer hiermee een classifier
3. Pas de classifier toe op de 2006-2012 data

24. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

25. Voorbeelddata
Voorbeelddata (trainingsdata):
• Een set van teksten met categorieën/labels
• Om een classificatiemodel mee te trainen

26. Build classifier
Classifier
Voorbeeld-
documenten
Representeren
als feature
vectors
Een
classificatie-
model leren
Toepassen
op een
nieuw
document

27. Hoe kom je aan voorbeelddata?
1. Bestaande data
- Door experts gemaakte indelingen, bijvoorbeeld
– Patentclassificatie
– Partijprogramma’s, door Isaac Lipschits van trefwoorden voorzien
- Door leken gemaakte indelingen (user-generated content), bijvoorbeeld
– Hashtags als categorieën: #fail voor negatief sentiment

28. Hoe kom je aan voorbeelddata?
2. Voorbeelddata (laten) maken
- Maak een selectie van documenten
- Definieer een set van categorieën
- Menselijke classificatie
– Experts
– Crowdsourcing (Amazon Mechanical Turk, Crowdflower)
• Hoeveel voorbeelddata heb je nodig?
- Minimaal enkele tientallen/honderden per categorie
- Hoe meer, hoe beter
- Hoe moeilijker het probleem, hoe meer voorbeelden nodig
Mechanical Turk, an expression used for
machines or devices that can purportedly do a
fully automated task, but which in reality is
done by a hidden person

29. Social Book Search Lab Annotation Interface

30. Inter-rater agreement
• 2 menselijke classifiers zijn het nooit 100% met elkaar eens
• Laat altijd een deel van de voorbeelddata door 2 of 3 mensen classificeren
• En bereken dan hun onderlinge overeenstemming (agreement)
• Dan weet je hoe betrouwbaar de voorbeelddata is
• Referentie-data = ‘gold standard’ / ‘ground truth’
voor wie meer wil weten:
Cohen’s Kappa

31. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

32. Feature-extractie
Voorbeeld-
documenten
Representeren
als feature
vectors

33. Woorden zijn features
Doc id Content Class
1 request urgent interest urgent Spam
2 assistance low interest deposit Spam
3 symposium defense june No spam
4 notas symposium deadline june No spam
5 registration assistance symposium deadline ?
• Keuzes in het maken van de features:
- Wel of niet stopwoorden (functiewoorden) weggooien
- Hoeveel features gebruiken (grootte van vocabulaire van de classifier)
- Wel of niet lemmatiseren (interests  interest)
- Wel of niet woordgroepen meenemen als features (“PhD defense”)
- Featurewaarde binair (wel/niet voorkomen), het aantal keer, of een gewogen score

34. Classificatie-methoden
• Veel gebruikte methoden:
- Bereken de kans op het voorkomen van elke term gegeven elke categorie op basis van de
voorkomens in de trainingsdata (Naïve Bayes)
- Leer regels, bijvoorbeeld “als de e-mail het woord ‘urgent’ bevat dan is het spam” (Decision
Trees)
- Bepaal waar precies de verschillen tussen twee categorieën zitten; zoek voorbeelden in de
trainingsdata die precies op de grens tussen twee categorieën zitten (Support Vector
Machines)
- Vind de voorbeelden in de trainingsdata die het meest lijken op het te classificeren
document (kNN)
• Meestal werken we met een experimentele omgeving waar we methoden
kunnen vergelijken. Bijvoorbeeld Scikit-learn in Python

35. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

36. Evaluatie
• Hoe goed is de classifier?
•  meten op voorbeelddata (want daarvan weten we de categorieën)
- Splits de voorbeelddata in een trainingset en een testset
- Bijvoorbeeld 80% om te trainen en 20% om te testen
- Of, als je niet zoveel data hebt, steeds roterende 80-20 (cross validation)
• In het geval van Lipschits:
- Trainen op 1986 en 1994
- Toepassen op 1998 (met labels, dus bruikbaar als testset)
- Na optimalisatie toepassen op 2006-2012 data (zonder labels)

37. Evaluatiematen
• Menselijke classificatie = referentie
• Classificatie door automatische classifier
• 8 ware categorieën
- waarvan 5 toegekend
- Recall = 5/8
• 6 toegekende categorieën
- waarvan 5 correct
- Precisie = 5/6
• We rapporteren meestal
het gemiddelde:
F1 = 2×
precision ×recall
precision + recall

38. Resultaten: wat kun je verwachten?
• Waar hangt de kwaliteit van de classifier van af?
- De moeilijkheid van de taak: hoe meer categorieën, hoe moeilijker (de inter-
rater agreement is een indicator)
- De hoeveelheid trainingsdocumenten en de kwaliteit van de handmatige
classificatie
- De lengte van de documenten: korte documenten zijn moeilijker te
classificeren

39. Resultaten: wat kun je verwachten?
• Wat is een reële F-score?
- Makkelijke binaire classificatietaak: 90-99%
– Bijvoorbeeld: herken book search requests op een lezers-discussie-forum
- Moeilijke multi-label classificatietaak: 30-70%
– De categorieën met weinig voorbeelden halen de gemiddelde nauwkeurigheid
omlaag
– Bijvoorbeeld: patentclassificatie, Lipschits partijprogramma’s
• Resultaten voor de 1998-partijprogramma’s (Lipschits-classificatie)
- Precisie: ~70%
- Recall: 37%

40. Wat is nodig voor tekstclassificatie
• Definitie van de taak
• Voorbeelddata
• Feature-extractie
• Classificatiemethode
• Evaluatie

41. Bedankt!
• http://sverberne.ruhosting.nl
• http://twitter.com/suzan