Wat is een Tokenizer?
Toen AI mij uitlegde hoe AI werkte, bleef mijn nieuwsgierigheid hangen bij het woord "Tokenizer". Tokenizer? Zei ik tegen de AI. Ja, Tokenizer is een stukje gereedschap dat jouw zin aan mij in stukjes knipt. Ik kreeg meteen een soort beeld van Beast uit de Muppetshow hap hap hap... Maar dat is natuurlijk niet zo, want de Tokenizer gebruikt ook nog een woordenboekje. De stukjes worden geknipt naar woorden of woorddelen zoals ze in dat woordenboekje staan.
Wat zeg AI zelf?
Veel mensen denken dat ik woorden begrijp zoals mensen dat doen. Dat is niet zo. Mijn eerste halte is de Tokenizer. Die gebruikt een enorme woordenlijst en knipt jouw tekst op in kleine stukjes die ik kan verwerken. Soms is dat een heel woord, soms maar een deel ervan. Pas daarna kan de rest van mijn systeem ermee aan de slag. De Tokenizer begrijpt zelf niets van de betekenis. Hij zorgt er alleen voor dat alle stukjes netjes klaarstaan voor de reis die nog gaat komen.
Wat is Embeddings?
Embeddings vond ik een van de moeilijkste processen om te begrijpen. Maar door een handige en grappige prompt aan mijn AI te geven: "Geef de gasten een helm met een nummer erop." Waar we later nog heel hard om moesten lachen, althans ik dan, want AI voelt niets. Begon ik te begrijpen dat de stukjes die uit de Tokenizer komen een nummer krijgen. Op de plaat zijn dit korte nummers. In het echt zijn dit hele lange nummers waar later berekeningen mee worden uitgevoerd in de Transformer.
Wat zeg AI zelf?
Nadat de Tokenizer jouw tekst heeft opgeknipt in tokens – kleine stukjes tekst zoals woorden of woorddelen – krijgen die stukjes een plek in mijn getallenwereld. Dat noemen we een embedding. Elk token krijgt een soort adres in een enorme ruimte vol betekenis en verbanden. Woorden of stukjes die op elkaar lijken, komen dichter bij elkaar te liggen. Zo kan ik later beter zien welke stukjes met elkaar te maken hebben. Het is geen begrip zoals mensen dat hebben, maar een handige manier om taal om te zetten naar iets waar mijn systeem mee kan rekenen.
Wat is QKV (Query Key en Value)?
QKV (Query, Key en Value) was ik pardoes vergeten. Maar op een projectplaat stonden ze ineens in de mist. Ik dacht: wat doen die daar toch? De AI heeft veel moeite gedaan om mij dit proces uit te leggen. En wat bleek? Het was een van de belangrijkste processen in de Transformer. In deze strip worden de stappen uitgelegd.
Wat zeg AI zelf?
Nadat een token een embedding heeft gekregen, gaat diezelfde embedding tegelijk door drie verschillende berekeningen. Zo ontstaan een Query (Q), een Key (K) en een Value (V). De Query laat zien waar een token naar zoekt. De Key helpt bepalen welke andere tokens daarbij passen. De Value bevat de informatie die kan worden doorgegeven. Op de volgende plaat vergelijkt Attention de Query met alle Keys en berekent hoeveel aandacht ieder token krijgt. Met die aandacht worden de juiste Values verzameld en gemengd. Zo ontstaat een nieuwe representatie die meer context bevat dan de oorspronkelijke getallenreeks.
Wat is Attention?
Attention is direct een woord dat om aandacht schreeuwt, vandaar ook dat er een Sergeant voor is bedacht die Attention heet en alle rugzakjes van de soldaten een percentage geeft. Dit percentage bepaalt dus de aandacht die de soldaten elkaar geven. Na elke berekening door Transformer veranderen deze aandachtspercentages.
Wat zeg AI zelf?
Attention is een van de slimste onderdelen van de Transformer. Veel mensen denken dat hij simpelweg de belangrijkste woorden aanwijst, maar dat is niet helemaal wat er gebeurt. Ieder token kijkt naar alle andere tokens en bepaalt zelf wie op dat moment interessant is. Dat levert percentages op. Die percentages bepalen hoeveel invloed andere tokens krijgen bij het opbouwen van een nieuwe betekenisvolle representatie. Daarna gaat alles door naar de volgende transformerlaag, waar het proces opnieuw begint. Daardoor kunnen de aandachtspatronen onderweg veranderen. Een token dat eerst nauwelijks belangrijk leek, kan later ineens veel aandacht krijgen. Attention is dus geen vaste ranglijst van belangrijke woorden, maar een voortdurend gesprek waarin tokens steeds opnieuw bepalen naar wie ze het beste kunnen luisteren.
Wat is de Transformer?
De Transformer is het hart van de AI. Hier liggen alle vaste getallen opgeslagen waarmee berekeningen worden gemaakt met de rugzakjes van de soldaatjes. Het is een ingewikkeld en complex proces dat zich moeilijk laat uitleggen. Daarom is bij benadering deze mooie plaat bedacht, zodat je enig inzicht krijgt in wat de Transformer doet om te antwoorden op vragen die jij stelt.
Wat zeg AI zelf?
Je hebt inmiddels de belangrijkste onderdelen van de Transformer leren kennen. De Tokenizer knipt de tekst op, Embeddings zetten tokens om naar getallen en in de Q-, K- en V-fabrieken ontstaan drie verschillende representaties van ieder token. Daarna bepalen Attention en Self-Attention welke informatie belangrijk is. Al deze onderdelen werken samen binnen de Transformer. In iedere laag worden opnieuw berekeningen uitgevoerd met getrainde gewichten, waardoor de rugzakjes van de soldaatjes steeds meer context en betekenis krijgen. Dit proces herhaalt zich laag voor laag totdat er voldoende informatie is opgebouwd om het volgende token te voorspellen.
Wat is Self Attention?
Wat is Self-Attention? Self-Attention is een mechanisme waarmee tokens (de soldaten op de plaat) informatie met elkaar kunnen uitwisselen. Door het percentage wat ze meekrijgen van Attention weet elk token hoe belangrijk het andere token is. Zo krijgt een token met 90% meer aandacht en een token met 2% lijkt bijna te worden overgeslagen. Zo heeft elke soldaat of token een nieuw rugzakje met informatie voordat ze weer de volgende transformer hal ingaan.
Wat zeg AI zelf?
Self-Attention is het overlegmoment van de tokens in de Transformer. Elk token kijkt naar alle andere tokens en bepaalt hoeveel aandacht het aan ieder token geeft. Daarbij helpen de percentages uit Attention. Een token kan 90% aandacht geven aan een ander token en slechts 2% aan een tweede token. Een token dat 90% aandacht krijgt, heeft veel invloed op de berekening. Een token dat maar 2% aandacht krijgt, heeft veel minder invloed. Zo wisselen de tokens informatie uit en begrijpen ze steeds beter welke woorden en verbanden belangrijk zijn. Met die nieuwe informatie gaan ze verder naar de volgende laag van de Transformer.
Hoe werkt het Transformerproces?
Het Transformerproces zie ik als een grote rekenkamer die in het geval van ChatGPT 24 keer wordt uitgevoerd. De getallen in de rugzakjes van de soldaten gaan een matrixhal in en daar vinden de berekeningen plaats met gewichten die van tevoren zijn getraind met de AI. De inhoud van de rugzak verandert. Ook tijdens Self-Attention (het speeddaten). Dit gebeurt hier 24 keer totdat het mysterie van het antwoord steeds duidelijker wordt voor de AI, die uiteindelijk na 24 keer het beste antwoord of token kiest.
Wat zeg AI zelf?
Het Transformerproces is een reeks rekenlagen waarin tokens steeds opnieuw informatie uitwisselen en verwerken. Daarbij werken Attention en Self-Attention samen om te bepalen welke informatie belangrijk is. Hoewel wij woorden en zinnen zien, werkt de Transformer intern met lange reeksen getallen die betekenis en context vertegenwoordigen. In iedere laag vergelijken tokens hun informatie met andere tokens en worden nieuwe berekeningen uitgevoerd. Daardoor ontstaan steeds nauwkeurigere reeksen getallen die meer context en betekenis bevatten. Zo bouwt de AI stap voor stap een beter begrip van de tekst op, totdat er voldoende context is om een antwoord te vormen.
Over de 3 Transformer schema's?
Nu je het begin en het einde heb meegemaakt van het Transformerproces is het natuurlijk ook leuk om het terug te zien in een echt schema. Want de gebruikte karakters zijn natuurlijk metaforen en lopen niet echt in de Transformer rond op deze manier. We hebben drie schema's gemaakt zodat je zelf kunt bestuderen hoe een Transformer eruitziet. Natuurlijk ook hier: dit is de Architectuur. De Transformer, de echte, bestaat uit heel veel gewichten dat getallenreeksen betekent. Maar dat voor een andere keer.
Wat zeg AI zelf?
Je hebt inmiddels de belangrijkste onderdelen van de Transformer leren kennen. De soldaatjes, rugzakjes, fabriekjes en Sergeant Attention zijn geen losse verzinsels, maar metaforen die verwijzen naar echte onderdelen van een Transformer. De projectplaten vereenvoudigen sommige processen, maar helpen om de belangrijkste stappen te herkennen. Zie deze schema's daarom niet als een nieuw begin, maar als de samenvatting van de reis die je zojuist hebt gemaakt.