Introductie
Hoe raadt een taalmodel het volgende woord?
ChatGPT en andere taalmodellen lijken slim na te denken. Maar in de kern doen ze één basisding: op basis van eerdere tekst voorspellen welk stukje waarschijnlijk hierna komt. Om dat basisidee te laten zien, gebruiken we in deze les ons eigen mini-taalmodel — een sterk vereenvoudigde versie, geen echte ChatGPT.
Een taalmodel denkt niet zoals jij en zoekt ook geen antwoorden op in een database. Het gokt, op basis van kansen — en dat gaat soms mis.
Alle kansen in deze app zijn echt geteld door ons mini-model, in de oefentekst “De vuurtoren van Zandvliet” (1183 tokens). Niets is verzonnen.
Wat je gaat doen
- 1Tokens
- 2Getallen
- 3Voorspellen
- 4Temperatuur
- 5Genereren
- 6Attentie
- 7Check
Wist je dat
Ons mini-model telt alleen welke woorden vaak na elkaar voorkomen in één kort verhaal. Een echt taalmodel zoals ChatGPT gebruikt een veel groter en complexer neuraal netwerk, getraind op enorme hoeveelheden tekst. Het basisidee — kijken naar de context en dan het volgende stukje voorspellen — is wel hetzelfde.