Talk door Thomas Winters & Ben Verhoeven op de Nationale Dag voor Wetenschapscommunicatie op 9 oktober 2023.

1. Slides: thomaswinters.be/nwd
Wetenschapscommunicatie on steroids
Waar komt GPT vandaan, en hoe gebruik je het optimaal?
Thomas Winters
PhD Student at KU Leuven & FWO Fellow
@thomas_wint
thomaswinters.be
Ben Verhoeven
ERLNMYR
@_ERLNMYR
erlnmyr.be

2. Wie heeft al tekstgenerator (ChatGPT,
Bing Assistant…) gebruikt?

3. Wie heeft tekstgenerator voor
wetenschapscommunicatie gebruikt?

4. Wie is al gebotst op taken die de
tekstgenerator niet kon?

5. Thomas Winters
• PhD student in creatieve AI &
taalmodellen sinds 2018
🡪 Deel van DTAI research group in ML cluster van
professors Luc De Raedt, Jesse Davis, Hendrik Blockeel,
Tias Guns...
• Mede-auteur RobBERT model
(state-of-the-art Nederlandstalige BERT taalmodel)
• Sinds GPT-2 (2019) ervaring met
GPT-modellen (o.a. voor humor, Improbotics...)

6. Ben Verhoeven
• Trainer, consultant & coach in
wetenschapscommunicatie als
ERLNMYR
• PhD in computerlinguïstiek (2018)
aan UAntwerpen (deel van CLiPS
onderzoekscentrum o.l.v. Prof. Walter Daelemans)
• Ervaring met GPT-modellen sinds
2019 voor wetenschapstheater
(Improbotics en schoolworkshops creatief schrijven met
een taalrobot)

7. Tekstgeneratie
Van autocomplete naar ChatGPT

8. Hoe werkt een tekstgenerator?
1. Open smartphone toetsenbord op tekstveld
1. Druk op een voorgestelde auto-complete woord
1. Herhaal 10-tal keer
1. Je hebt een tekst gegenereerd die klinkt zoals jezelf!
Auto-complete telde frequentie van woorden
na vorige woorden in je teksten
En dan is het
mogelijk om de
hoek van de week

9. 1. Telde in alle tweets & columns van Rik Torfs hoe
vaak woord andere woorden volgde
2. Dan neemt het paar willekeurige beginwoorden, en
blijft het woorden die Rik gebruikte kiezen.
“gevolgd door”
4: een
2: zijn
1: iemand
1: acht
Beste,

10. GPT training
Heel het internet
Trainingsproces van paar miljoen $
Beste publieke taalmodel

11. ≈ autocomplete
on steroids
GPT modellen
Kans op volgende token
gegeven vorige tokens

12. https://platform.openai.com/tokenizer

13. Drie GPT trainingfasen
GPT-3 (2020)
Leerde internet
woord voor woord
nabootsen
InstructGPT (2022)
Leerde om naar
instructies te
luisteren
ChatGPT & GPT-4
(2022-2023)
Leerde instructies
“volgens menselijke
voorkeur” op te
lossen

14. Voornaamste sterkte
Copy writing > Copy editing

17. Prompt
Engineering
Vroeger:
Hoe implementeer je AI?
Nu:
Hoe vraag je dit het beste aan
algemene AI?

18. Optimaal kiezen van
instructies voor AI
“Voodoo magic”
Bewezen trucjes
Vaak Intuitief
Wat is Prompt Engineering?

19. Basis: Schrijfinstructie prompt

20. Truc 1: Geef handvol voorbeelden (“few-shot prompting”)
Makkelijke manier om “stijl” duidelijk te maken

21. Truc 2: Maak rol duidelijk (“role-prompting”)
Laat GPT expert nadoen, bv:
“You are a world-renowned expert X with
proven track record on X.”
“localiseert” taak in het model
Meer inspiratie:
https://github.com/f/awesome-chatgpt-prompts

22. GPT-3 is slecht in wiskunde?

23. Truc 3: Vraag redeneerstappen

25. Truc 4: Specificeer zelf enkele expliciete stappen

26. Truc 5: Leg denkstappen vooraf uit in voorbeelden
“Few-shot chain-of-
thought”
Geef redenering tussen
“input” en “output” in
voorbeelden
Extreem krachtige
techniek!
https://platform.openai.com/playground/p/bQDRHNEMLTS7iAcuJbdgoG27?model=text-davinci-003
Invoer
Redenering
Invoer
Invoer
Redenering
Invoer
Invoer
Redenering
Invoer

28. Truc 6: Verplicht ChatGPT
vragen te stellen!
ChatGPT is getraind om direct
te antwoorden
� Verplicht het vragen te
stellen!
Bv:
You are an expert X with proven
track record on X’. I am looking to
Y. Your task is Z, while constantly
asking questions to better grasp
what I’m looking for. Do you
understand what I’m saying?
https://www.youtube.com/watch?
v=QmA7S2iGBjk

29. Limitaties &
Risico’s

30. Hallucinaties
GPT verzint vol overtuiging onzin

31. Kennisveiligheid
Als online platform: kan je requests opslaan!
Let op met gevoelige informatie
https://businessinsider.com/amazon-chatgpt-openai-warns-employees-not-
share-confidential-information-microsoft-2023-1
https://help.openai.com/en/articles/6783457-chatgpt-general-faq

32. Limited context window
Modellen kijken maar gelimiteerd aantal woorden terug
->Moeite met heel lange documenten
GPT-3 / ChatGPT: 4096 tokens (~3K woorden)
GPT-4: 32K tokens (~25K woorden)
“Oplossing”: stapsgewijs document samenvatten

33. Wiskunde
Tokenizatieproblemen
& geen rekenmachine aan boord!
-> Volgende woord voorspelling

34. Handige AI
Applicaties
voor SciComm

35. Chat with papers
GPT “AskYourPDF” plugin
https://geekflare.com/how-to-upload-pdfs-on-chatgpt/

36. WordTune
Browser plugin for transforming sentences
to formal, casual, shorter, longer & variations
https://www.wordtune.com/

37. Elicit
Vind relevante papers voor research vraag & vat papers samen:
https://elicit.org/

38. SciSpace (Typeset)
https://typeset.io/

39. Perplexity

40. Slides: thomaswinters.be/nwd
Wetenschapscommunicatie on steroids
Waar komt GPT vandaan, en hoe gebruik je het optimaal?
Thomas Winters
PhD Student at KU Leuven & FWO Fellow
@thomas_wint
thomaswinters.be
Ben Verhoeven
ERLNMYR
@_ERLNMYR
erlnmyr.be