SlideShare a Scribd company logo
Slides: thomaswinters.be/nwd
Wetenschapscommunicatie on steroids
Waar komt GPT vandaan, en hoe gebruik je het optimaal?
Thomas Winters
PhD Student at KU Leuven & FWO Fellow
@thomas_wint
thomaswinters.be
Ben Verhoeven
ERLNMYR
@_ERLNMYR
erlnmyr.be
Wie heeft al tekstgenerator (ChatGPT,
Bing Assistant…) gebruikt?
Wie heeft tekstgenerator voor
wetenschapscommunicatie gebruikt?
Wie is al gebotst op taken die de
tekstgenerator niet kon?
Thomas Winters
• PhD student in creatieve AI &
taalmodellen sinds 2018
🡪 Deel van DTAI research group in ML cluster van
professors Luc De Raedt, Jesse Davis, Hendrik Blockeel,
Tias Guns...
• Mede-auteur RobBERT model
(state-of-the-art Nederlandstalige BERT taalmodel)
• Sinds GPT-2 (2019) ervaring met
GPT-modellen (o.a. voor humor, Improbotics...)
Ben Verhoeven
• Trainer, consultant & coach in
wetenschapscommunicatie als
ERLNMYR
• PhD in computerlinguïstiek (2018)
aan UAntwerpen (deel van CLiPS
onderzoekscentrum o.l.v. Prof. Walter Daelemans)
• Ervaring met GPT-modellen sinds
2019 voor wetenschapstheater
(Improbotics en schoolworkshops creatief schrijven met
een taalrobot)
Tekstgeneratie
Van autocomplete naar ChatGPT
Hoe werkt een tekstgenerator?
1. Open smartphone toetsenbord op tekstveld
1. Druk op een voorgestelde auto-complete woord
1. Herhaal 10-tal keer
1. Je hebt een tekst gegenereerd die klinkt zoals jezelf!
Auto-complete telde frequentie van woorden
na vorige woorden in je teksten
En dan is het
mogelijk om de
hoek van de week
1. Telde in alle tweets & columns van Rik Torfs hoe
vaak woord andere woorden volgde
2. Dan neemt het paar willekeurige beginwoorden, en
blijft het woorden die Rik gebruikte kiezen.
“gevolgd door”
4: een
2: zijn
1: iemand
1: acht
Beste,
GPT training
Heel het internet
Trainingsproces van paar miljoen $
Beste publieke taalmodel
≈ autocomplete
on steroids
GPT modellen
Kans op volgende token
gegeven vorige tokens
https://platform.openai.com/tokenizer
Drie GPT trainingfasen
GPT-3 (2020)
Leerde internet
woord voor woord
nabootsen
InstructGPT (2022)
Leerde om naar
instructies te
luisteren
ChatGPT & GPT-4
(2022-2023)
Leerde instructies
“volgens menselijke
voorkeur” op te
lossen
Voornaamste sterkte
Copy writing > Copy editing
Wetenschapscommunicatie on steroids
Wetenschapscommunicatie on steroids
Prompt
Engineering
Vroeger:
Hoe implementeer je AI?
Nu:
Hoe vraag je dit het beste aan
algemene AI?
Optimaal kiezen van
instructies voor AI
“Voodoo magic”
Bewezen trucjes
Vaak Intuitief
Wat is Prompt Engineering?
Basis: Schrijfinstructie prompt
Truc 1: Geef handvol voorbeelden (“few-shot prompting”)
Makkelijke manier om “stijl” duidelijk te maken
Truc 2: Maak rol duidelijk (“role-prompting”)
Laat GPT expert nadoen, bv:
“You are a world-renowned expert X with
proven track record on X.”
“localiseert” taak in het model
Meer inspiratie:
https://github.com/f/awesome-chatgpt-prompts
GPT-3 is slecht in wiskunde?
Truc 3: Vraag redeneerstappen
Wetenschapscommunicatie on steroids
Truc 4: Specificeer zelf enkele expliciete stappen
Truc 5: Leg denkstappen vooraf uit in voorbeelden
“Few-shot chain-of-
thought”
Geef redenering tussen
“input” en “output” in
voorbeelden
Extreem krachtige
techniek!
https://platform.openai.com/playground/p/bQDRHNEMLTS7iAcuJbdgoG27?model=text-davinci-003
Invoer
Redenering
Invoer
Invoer
Redenering
Invoer
Invoer
Redenering
Invoer
Wetenschapscommunicatie on steroids
Truc 6: Verplicht ChatGPT
vragen te stellen!
ChatGPT is getraind om direct
te antwoorden
� Verplicht het vragen te
stellen!
Bv:
You are an expert X with proven
track record on X’. I am looking to
Y. Your task is Z, while constantly
asking questions to better grasp
what I’m looking for. Do you
understand what I’m saying?
https://www.youtube.com/watch?
v=QmA7S2iGBjk
Limitaties &
Risico’s
Hallucinaties
GPT verzint vol overtuiging onzin
Kennisveiligheid
Als online platform: kan je requests opslaan!
Let op met gevoelige informatie
https://businessinsider.com/amazon-chatgpt-openai-warns-employees-not-
share-confidential-information-microsoft-2023-1
https://help.openai.com/en/articles/6783457-chatgpt-general-faq
Limited context window
Modellen kijken maar gelimiteerd aantal woorden terug
->Moeite met heel lange documenten
GPT-3 / ChatGPT: 4096 tokens (~3K woorden)
GPT-4: 32K tokens (~25K woorden)
“Oplossing”: stapsgewijs document samenvatten
Wiskunde
Tokenizatieproblemen
& geen rekenmachine aan boord!
-> Volgende woord voorspelling
Handige AI
Applicaties
voor SciComm
Chat with papers
GPT “AskYourPDF” plugin
https://geekflare.com/how-to-upload-pdfs-on-chatgpt/
WordTune
Browser plugin for transforming sentences
to formal, casual, shorter, longer & variations
https://www.wordtune.com/
Elicit
Vind relevante papers voor research vraag & vat papers samen:
https://elicit.org/
SciSpace (Typeset)
https://typeset.io/
Perplexity
Slides: thomaswinters.be/nwd
Wetenschapscommunicatie on steroids
Waar komt GPT vandaan, en hoe gebruik je het optimaal?
Thomas Winters
PhD Student at KU Leuven & FWO Fellow
@thomas_wint
thomaswinters.be
Ben Verhoeven
ERLNMYR
@_ERLNMYR
erlnmyr.be

More Related Content

Similar to Wetenschapscommunicatie on steroids

Slides AI en Chatgpt met voorbeelden.pdf
Slides AI en Chatgpt met voorbeelden.pdfSlides AI en Chatgpt met voorbeelden.pdf
Slides AI en Chatgpt met voorbeelden.pdf
Ennuonline
 
230526 (WR) v1 ChatGPT zorginstelling.pdf
230526 (WR) v1  ChatGPT zorginstelling.pdf230526 (WR) v1  ChatGPT zorginstelling.pdf
230526 (WR) v1 ChatGPT zorginstelling.pdf
WilfredRubens.com
 
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
WilfredRubens.com
 
230920 (WR) v1 ChatGPT en sportbedrijf Tilburg publiek.pdf
230920 (WR) v1  ChatGPT en sportbedrijf Tilburg publiek.pdf230920 (WR) v1  ChatGPT en sportbedrijf Tilburg publiek.pdf
230920 (WR) v1 ChatGPT en sportbedrijf Tilburg publiek.pdf
WilfredRubens.com
 
PenO1: Les 1
PenO1: Les 1PenO1: Les 1
PenO1: Les 1
Erik Duval
 
Presentatie Opendag 26jan2008
Presentatie Opendag 26jan2008Presentatie Opendag 26jan2008
Presentatie Opendag 26jan2008
t.klinker
 
Conversational interfaces & chatbots - 2018-09
Conversational interfaces & chatbots - 2018-09Conversational interfaces & chatbots - 2018-09
Conversational interfaces & chatbots - 2018-09
Smals
 
240404 (WR) v1 Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
240404 (WR) v1  Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf240404 (WR) v1  Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
240404 (WR) v1 Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
WilfredRubens.com
 
Signaleren en analyseren van verschillen les 2
Signaleren en analyseren van verschillen les 2Signaleren en analyseren van verschillen les 2
Signaleren en analyseren van verschillen les 2
Gerard Dummer
 
231104(WR) v1 ChatGPT Rotary Limburg.pdf
231104(WR) v1  ChatGPT Rotary Limburg.pdf231104(WR) v1  ChatGPT Rotary Limburg.pdf
231104(WR) v1 ChatGPT Rotary Limburg.pdf
WilfredRubens.com
 
Gastcollege e learning trends avans plus januari 2020
Gastcollege e learning trends avans plus januari 2020Gastcollege e learning trends avans plus januari 2020
Gastcollege e learning trends avans plus januari 2020
WilfredRubens.com
 
230718 (WR) v1 AI en L en D def.pdf
230718 (WR) v1 AI en L en D def.pdf230718 (WR) v1 AI en L en D def.pdf
230718 (WR) v1 AI en L en D def.pdf
WilfredRubens.com
 
20110928 pen o1_les1
20110928 pen o1_les120110928 pen o1_les1
20110928 pen o1_les1
Erik Duval
 
Productiestraat e-learning Deltion College
Productiestraat e-learning Deltion CollegeProductiestraat e-learning Deltion College
Productiestraat e-learning Deltion College
JaapJan Vroom
 
How to avoid being a code monkey
How to avoid being a code monkeyHow to avoid being a code monkey
How to avoid being a code monkey
Peter Vantieghem
 
I en I Conferentie 2009
I en I Conferentie 2009I en I Conferentie 2009
I en I Conferentie 2009
Wytze Koopal
 
Toegepaste Cognitieve Psychologie in de educatieve praktijk
Toegepaste Cognitieve Psychologie in de educatieve praktijkToegepaste Cognitieve Psychologie in de educatieve praktijk
Toegepaste Cognitieve Psychologie in de educatieve praktijk
Ellen Schuurink
 
E Leren
E LerenE Leren
E Leren
kbernaerts
 
Digitalisering, flexibilisering en geleerde lessen van de Coronacrisis
Digitalisering, flexibilisering en geleerde lessen van de CoronacrisisDigitalisering, flexibilisering en geleerde lessen van de Coronacrisis
Digitalisering, flexibilisering en geleerde lessen van de Coronacrisis
WilfredRubens.com
 
webtool rubricering leren met ict
webtool rubricering leren met ictwebtool rubricering leren met ict
webtool rubricering leren met ict
Rina Timmerman
 

Similar to Wetenschapscommunicatie on steroids (20)

Slides AI en Chatgpt met voorbeelden.pdf
Slides AI en Chatgpt met voorbeelden.pdfSlides AI en Chatgpt met voorbeelden.pdf
Slides AI en Chatgpt met voorbeelden.pdf
 
230526 (WR) v1 ChatGPT zorginstelling.pdf
230526 (WR) v1  ChatGPT zorginstelling.pdf230526 (WR) v1  ChatGPT zorginstelling.pdf
230526 (WR) v1 ChatGPT zorginstelling.pdf
 
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
230902 (WR) v1 Webinar Activerend leren FCE 2023.pdf
 
230920 (WR) v1 ChatGPT en sportbedrijf Tilburg publiek.pdf
230920 (WR) v1  ChatGPT en sportbedrijf Tilburg publiek.pdf230920 (WR) v1  ChatGPT en sportbedrijf Tilburg publiek.pdf
230920 (WR) v1 ChatGPT en sportbedrijf Tilburg publiek.pdf
 
PenO1: Les 1
PenO1: Les 1PenO1: Les 1
PenO1: Les 1
 
Presentatie Opendag 26jan2008
Presentatie Opendag 26jan2008Presentatie Opendag 26jan2008
Presentatie Opendag 26jan2008
 
Conversational interfaces & chatbots - 2018-09
Conversational interfaces & chatbots - 2018-09Conversational interfaces & chatbots - 2018-09
Conversational interfaces & chatbots - 2018-09
 
240404 (WR) v1 Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
240404 (WR) v1  Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf240404 (WR) v1  Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
240404 (WR) v1 Aeres De kracht van generatieve AI voor en in het onderwijs!.pdf
 
Signaleren en analyseren van verschillen les 2
Signaleren en analyseren van verschillen les 2Signaleren en analyseren van verschillen les 2
Signaleren en analyseren van verschillen les 2
 
231104(WR) v1 ChatGPT Rotary Limburg.pdf
231104(WR) v1  ChatGPT Rotary Limburg.pdf231104(WR) v1  ChatGPT Rotary Limburg.pdf
231104(WR) v1 ChatGPT Rotary Limburg.pdf
 
Gastcollege e learning trends avans plus januari 2020
Gastcollege e learning trends avans plus januari 2020Gastcollege e learning trends avans plus januari 2020
Gastcollege e learning trends avans plus januari 2020
 
230718 (WR) v1 AI en L en D def.pdf
230718 (WR) v1 AI en L en D def.pdf230718 (WR) v1 AI en L en D def.pdf
230718 (WR) v1 AI en L en D def.pdf
 
20110928 pen o1_les1
20110928 pen o1_les120110928 pen o1_les1
20110928 pen o1_les1
 
Productiestraat e-learning Deltion College
Productiestraat e-learning Deltion CollegeProductiestraat e-learning Deltion College
Productiestraat e-learning Deltion College
 
How to avoid being a code monkey
How to avoid being a code monkeyHow to avoid being a code monkey
How to avoid being a code monkey
 
I en I Conferentie 2009
I en I Conferentie 2009I en I Conferentie 2009
I en I Conferentie 2009
 
Toegepaste Cognitieve Psychologie in de educatieve praktijk
Toegepaste Cognitieve Psychologie in de educatieve praktijkToegepaste Cognitieve Psychologie in de educatieve praktijk
Toegepaste Cognitieve Psychologie in de educatieve praktijk
 
E Leren
E LerenE Leren
E Leren
 
Digitalisering, flexibilisering en geleerde lessen van de Coronacrisis
Digitalisering, flexibilisering en geleerde lessen van de CoronacrisisDigitalisering, flexibilisering en geleerde lessen van de Coronacrisis
Digitalisering, flexibilisering en geleerde lessen van de Coronacrisis
 
webtool rubricering leren met ict
webtool rubricering leren met ictwebtool rubricering leren met ict
webtool rubricering leren met ict
 

More from Thomas Winters

Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
Thomas Winters
 
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
Thomas Winters
 
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
Thomas Winters
 
Pret met Creatieve Computers
Pret met Creatieve ComputersPret met Creatieve Computers
Pret met Creatieve Computers
Thomas Winters
 
Hoe leer je computers humor?
Hoe leer je computers humor?Hoe leer je computers humor?
Hoe leer je computers humor?
Thomas Winters
 
How do you teach computers humor + Text Generators as Creative Partners (May ...
How do you teach computers humor + Text Generators as Creative Partners (May ...How do you teach computers humor + Text Generators as Creative Partners (May ...
How do you teach computers humor + Text Generators as Creative Partners (May ...
Thomas Winters
 
Hoe schrijven computers zelf tekst? (Kinderlezing)
Hoe schrijven computers zelf tekst? (Kinderlezing)Hoe schrijven computers zelf tekst? (Kinderlezing)
Hoe schrijven computers zelf tekst? (Kinderlezing)
Thomas Winters
 
De magie achter afbeeldingsgenerators
De magie achter afbeeldingsgeneratorsDe magie achter afbeeldingsgenerators
De magie achter afbeeldingsgenerators
Thomas Winters
 
Computational Humor: Can a machine have a sense of humor (December 2022)
Computational Humor: Can a machine have a sense of humor (December 2022)Computational Humor: Can a machine have a sense of humor (December 2022)
Computational Humor: Can a machine have a sense of humor (December 2022)
Thomas Winters
 
How to Attract & Survive Media Attention as PhD
How to Attract & Survive Media Attention as PhDHow to Attract & Survive Media Attention as PhD
How to Attract & Survive Media Attention as PhD
Thomas Winters
 
How can AI be a creative partner for PR & marketing?
How can AI be a creative partner for PR & marketing?How can AI be a creative partner for PR & marketing?
How can AI be a creative partner for PR & marketing?
Thomas Winters
 
Beter leren praten met Artificiële Intelligentie
Beter leren praten met Artificiële IntelligentieBeter leren praten met Artificiële Intelligentie
Beter leren praten met Artificiële Intelligentie
Thomas Winters
 
Computational Humor: Can a machine have a sense of humor (2022)
Computational Humor: Can a machine have a sense of humor (2022)Computational Humor: Can a machine have a sense of humor (2022)
Computational Humor: Can a machine have a sense of humor (2022)
Thomas Winters
 
TorfsBotOrNot @ Nerdland Festival
TorfsBotOrNot @ Nerdland FestivalTorfsBotOrNot @ Nerdland Festival
TorfsBotOrNot @ Nerdland Festival
Thomas Winters
 
Creative AI for Improv Theatre
Creative AI for Improv TheatreCreative AI for Improv Theatre
Creative AI for Improv Theatre
Thomas Winters
 
Computational Humor: Can a machine have a sense of humor? (2020)
Computational Humor: Can a machine have a sense of humor? (2020)Computational Humor: Can a machine have a sense of humor? (2020)
Computational Humor: Can a machine have a sense of humor? (2020)
Thomas Winters
 
Humor Workshop: Hoe schrijf je satire? (KU Leugen)
Humor Workshop: Hoe schrijf je satire? (KU Leugen)Humor Workshop: Hoe schrijf je satire? (KU Leugen)
Humor Workshop: Hoe schrijf je satire? (KU Leugen)
Thomas Winters
 
Survival of the Wittiest: Evolving Satire with Language Models
Survival of the Wittiest: Evolving Satire with Language ModelsSurvival of the Wittiest: Evolving Satire with Language Models
Survival of the Wittiest: Evolving Satire with Language Models
Thomas Winters
 
Discovering Textual Structures: Generative Grammar Induction using Template T...
Discovering Textual Structures: Generative Grammar Induction using Template T...Discovering Textual Structures: Generative Grammar Induction using Template T...
Discovering Textual Structures: Generative Grammar Induction using Template T...
Thomas Winters
 
Dutch Humor Detection by Generating Negative Examples
Dutch Humor Detection by Generating Negative ExamplesDutch Humor Detection by Generating Negative Examples
Dutch Humor Detection by Generating Negative Examples
Thomas Winters
 

More from Thomas Winters (20)

Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
Neuro-Symbolic Creative Artificial Intelligence for Humor (PhD Defense)
 
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
TorfsBot or Not? Evaluating User Perception on Imitative Text Generation (CLI...
 
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
Hoe werken tekstgenerators? (Special Guest in Lieven Scheire's AI voorstelling)
 
Pret met Creatieve Computers
Pret met Creatieve ComputersPret met Creatieve Computers
Pret met Creatieve Computers
 
Hoe leer je computers humor?
Hoe leer je computers humor?Hoe leer je computers humor?
Hoe leer je computers humor?
 
How do you teach computers humor + Text Generators as Creative Partners (May ...
How do you teach computers humor + Text Generators as Creative Partners (May ...How do you teach computers humor + Text Generators as Creative Partners (May ...
How do you teach computers humor + Text Generators as Creative Partners (May ...
 
Hoe schrijven computers zelf tekst? (Kinderlezing)
Hoe schrijven computers zelf tekst? (Kinderlezing)Hoe schrijven computers zelf tekst? (Kinderlezing)
Hoe schrijven computers zelf tekst? (Kinderlezing)
 
De magie achter afbeeldingsgenerators
De magie achter afbeeldingsgeneratorsDe magie achter afbeeldingsgenerators
De magie achter afbeeldingsgenerators
 
Computational Humor: Can a machine have a sense of humor (December 2022)
Computational Humor: Can a machine have a sense of humor (December 2022)Computational Humor: Can a machine have a sense of humor (December 2022)
Computational Humor: Can a machine have a sense of humor (December 2022)
 
How to Attract & Survive Media Attention as PhD
How to Attract & Survive Media Attention as PhDHow to Attract & Survive Media Attention as PhD
How to Attract & Survive Media Attention as PhD
 
How can AI be a creative partner for PR & marketing?
How can AI be a creative partner for PR & marketing?How can AI be a creative partner for PR & marketing?
How can AI be a creative partner for PR & marketing?
 
Beter leren praten met Artificiële Intelligentie
Beter leren praten met Artificiële IntelligentieBeter leren praten met Artificiële Intelligentie
Beter leren praten met Artificiële Intelligentie
 
Computational Humor: Can a machine have a sense of humor (2022)
Computational Humor: Can a machine have a sense of humor (2022)Computational Humor: Can a machine have a sense of humor (2022)
Computational Humor: Can a machine have a sense of humor (2022)
 
TorfsBotOrNot @ Nerdland Festival
TorfsBotOrNot @ Nerdland FestivalTorfsBotOrNot @ Nerdland Festival
TorfsBotOrNot @ Nerdland Festival
 
Creative AI for Improv Theatre
Creative AI for Improv TheatreCreative AI for Improv Theatre
Creative AI for Improv Theatre
 
Computational Humor: Can a machine have a sense of humor? (2020)
Computational Humor: Can a machine have a sense of humor? (2020)Computational Humor: Can a machine have a sense of humor? (2020)
Computational Humor: Can a machine have a sense of humor? (2020)
 
Humor Workshop: Hoe schrijf je satire? (KU Leugen)
Humor Workshop: Hoe schrijf je satire? (KU Leugen)Humor Workshop: Hoe schrijf je satire? (KU Leugen)
Humor Workshop: Hoe schrijf je satire? (KU Leugen)
 
Survival of the Wittiest: Evolving Satire with Language Models
Survival of the Wittiest: Evolving Satire with Language ModelsSurvival of the Wittiest: Evolving Satire with Language Models
Survival of the Wittiest: Evolving Satire with Language Models
 
Discovering Textual Structures: Generative Grammar Induction using Template T...
Discovering Textual Structures: Generative Grammar Induction using Template T...Discovering Textual Structures: Generative Grammar Induction using Template T...
Discovering Textual Structures: Generative Grammar Induction using Template T...
 
Dutch Humor Detection by Generating Negative Examples
Dutch Humor Detection by Generating Negative ExamplesDutch Humor Detection by Generating Negative Examples
Dutch Humor Detection by Generating Negative Examples
 

Wetenschapscommunicatie on steroids

  • 1. Slides: thomaswinters.be/nwd Wetenschapscommunicatie on steroids Waar komt GPT vandaan, en hoe gebruik je het optimaal? Thomas Winters PhD Student at KU Leuven & FWO Fellow @thomas_wint thomaswinters.be Ben Verhoeven ERLNMYR @_ERLNMYR erlnmyr.be
  • 2. Wie heeft al tekstgenerator (ChatGPT, Bing Assistant…) gebruikt?
  • 3. Wie heeft tekstgenerator voor wetenschapscommunicatie gebruikt?
  • 4. Wie is al gebotst op taken die de tekstgenerator niet kon?
  • 5. Thomas Winters • PhD student in creatieve AI & taalmodellen sinds 2018 🡪 Deel van DTAI research group in ML cluster van professors Luc De Raedt, Jesse Davis, Hendrik Blockeel, Tias Guns... • Mede-auteur RobBERT model (state-of-the-art Nederlandstalige BERT taalmodel) • Sinds GPT-2 (2019) ervaring met GPT-modellen (o.a. voor humor, Improbotics...)
  • 6. Ben Verhoeven • Trainer, consultant & coach in wetenschapscommunicatie als ERLNMYR • PhD in computerlinguïstiek (2018) aan UAntwerpen (deel van CLiPS onderzoekscentrum o.l.v. Prof. Walter Daelemans) • Ervaring met GPT-modellen sinds 2019 voor wetenschapstheater (Improbotics en schoolworkshops creatief schrijven met een taalrobot)
  • 8. Hoe werkt een tekstgenerator? 1. Open smartphone toetsenbord op tekstveld 1. Druk op een voorgestelde auto-complete woord 1. Herhaal 10-tal keer 1. Je hebt een tekst gegenereerd die klinkt zoals jezelf! Auto-complete telde frequentie van woorden na vorige woorden in je teksten En dan is het mogelijk om de hoek van de week
  • 9. 1. Telde in alle tweets & columns van Rik Torfs hoe vaak woord andere woorden volgde 2. Dan neemt het paar willekeurige beginwoorden, en blijft het woorden die Rik gebruikte kiezen. “gevolgd door” 4: een 2: zijn 1: iemand 1: acht Beste,
  • 10. GPT training Heel het internet Trainingsproces van paar miljoen $ Beste publieke taalmodel
  • 11. ≈ autocomplete on steroids GPT modellen Kans op volgende token gegeven vorige tokens
  • 13. Drie GPT trainingfasen GPT-3 (2020) Leerde internet woord voor woord nabootsen InstructGPT (2022) Leerde om naar instructies te luisteren ChatGPT & GPT-4 (2022-2023) Leerde instructies “volgens menselijke voorkeur” op te lossen
  • 17. Prompt Engineering Vroeger: Hoe implementeer je AI? Nu: Hoe vraag je dit het beste aan algemene AI?
  • 18. Optimaal kiezen van instructies voor AI “Voodoo magic” Bewezen trucjes Vaak Intuitief Wat is Prompt Engineering?
  • 20. Truc 1: Geef handvol voorbeelden (“few-shot prompting”) Makkelijke manier om “stijl” duidelijk te maken
  • 21. Truc 2: Maak rol duidelijk (“role-prompting”) Laat GPT expert nadoen, bv: “You are a world-renowned expert X with proven track record on X.” “localiseert” taak in het model Meer inspiratie: https://github.com/f/awesome-chatgpt-prompts
  • 22. GPT-3 is slecht in wiskunde?
  • 23. Truc 3: Vraag redeneerstappen
  • 25. Truc 4: Specificeer zelf enkele expliciete stappen
  • 26. Truc 5: Leg denkstappen vooraf uit in voorbeelden “Few-shot chain-of- thought” Geef redenering tussen “input” en “output” in voorbeelden Extreem krachtige techniek! https://platform.openai.com/playground/p/bQDRHNEMLTS7iAcuJbdgoG27?model=text-davinci-003 Invoer Redenering Invoer Invoer Redenering Invoer Invoer Redenering Invoer
  • 28. Truc 6: Verplicht ChatGPT vragen te stellen! ChatGPT is getraind om direct te antwoorden � Verplicht het vragen te stellen! Bv: You are an expert X with proven track record on X’. I am looking to Y. Your task is Z, while constantly asking questions to better grasp what I’m looking for. Do you understand what I’m saying? https://www.youtube.com/watch? v=QmA7S2iGBjk
  • 30. Hallucinaties GPT verzint vol overtuiging onzin
  • 31. Kennisveiligheid Als online platform: kan je requests opslaan! Let op met gevoelige informatie https://businessinsider.com/amazon-chatgpt-openai-warns-employees-not- share-confidential-information-microsoft-2023-1 https://help.openai.com/en/articles/6783457-chatgpt-general-faq
  • 32. Limited context window Modellen kijken maar gelimiteerd aantal woorden terug ->Moeite met heel lange documenten GPT-3 / ChatGPT: 4096 tokens (~3K woorden) GPT-4: 32K tokens (~25K woorden) “Oplossing”: stapsgewijs document samenvatten
  • 33. Wiskunde Tokenizatieproblemen & geen rekenmachine aan boord! -> Volgende woord voorspelling
  • 35. Chat with papers GPT “AskYourPDF” plugin https://geekflare.com/how-to-upload-pdfs-on-chatgpt/
  • 36. WordTune Browser plugin for transforming sentences to formal, casual, shorter, longer & variations https://www.wordtune.com/
  • 37. Elicit Vind relevante papers voor research vraag & vat papers samen: https://elicit.org/
  • 40. Slides: thomaswinters.be/nwd Wetenschapscommunicatie on steroids Waar komt GPT vandaan, en hoe gebruik je het optimaal? Thomas Winters PhD Student at KU Leuven & FWO Fellow @thomas_wint thomaswinters.be Ben Verhoeven ERLNMYR @_ERLNMYR erlnmyr.be