Hallo en welkom bij Goodfeeling.nl. Vandaag wil ik je kennis laten maken met ChatGPT. ChatGPT is een door AI aangedreven chatbot die natuurlijke taalverwerking en machine learning-algoritmen gebruikt om met gebruikers te communiceren. Wat ChatGPT onderscheidt van andere chatbots, is het vermogen om de context te begrijpen en relevante antwoorden te geven. Dus waarom probeer je het niet eens en zie je hoe het je vandaag kan helpen?
Tenzij je het afgelopen jaar onder een steen hebt geleefd, heb je waarschijnlijk wel eens van ChatGPT gehoord. Het is een ogenschijnlijk superslimme AI-chatbot die alles lijkt te weten. Het kan alles doen, van je huiswerk tot het schrijven van een begeleidende brief voor een nieuwe baan, tot het geven van advies, tot het programmeren van code.
Hoewel de kracht van Google de mogelijkheid is om enorme database-zoekopdrachten uit te voeren en een reeks overeenkomsten te bieden die uw vragen mogelijk beantwoorden. De kracht van ChatGPT is de mogelijkheid om de context en betekenis van een bepaalde zoekopdracht te interpreteren en een relevant antwoord te produceren in grammaticaal correcte en natuurlijke taal, gebaseerd op de informatie waarop het is getraind.
Hoe werkt het?
Laat me eerst een paar mythes uit de weg ruimen. Het is geen magie. Het is gewoon wiskunde en een heleboel slimme concepten. En nee, het wordt niet vanzelf slimmer. Het kan niet zelfstudie doen zoals een mens die naar de bibliotheek kan gaan en nieuwe dingen kan leren. ChatGPT leert van wat het wordt verteld om te studeren. Het is ook niet alleen internet vragen om een antwoord op je vraag. Het heeft een schat aan kennis en gebruikt het om jouw vragen te beantwoorden.
ChatGPT is getraind op gegevens uit boeken, webpagina’s, Wikipedia, nieuwsartikelen, wetenschappelijke tijdschriften en andere niet-gespecificeerde bronnen. Het materiaal is verzameld tot ongeveer september 2021, dus over alle nieuwere informatie dan dit zou ChatGPT in ieder geval geen idee hebben vanaf vandaag, dat is rond april 2023. Je zou het nieuwe materiaal moeten leren als je een antwoord wilt op iets dat na die tijd nieuwe kennis wordt.
Het korte antwoord op hoe het werkt, is dat het gebruikmaakt van neurale netwerken, met gesuperviseerd leren en versterkend leren, twee belangrijke componenten van modern machine learning. Wat betekent dit? Laat me om te beginnen op een zeer hoog niveau en op een sterk vereenvoudigde manier beschrijven wat ChatGPT doet. Dan zal ik dit nader toelichten.
Laten we zeggen dat we het een invoer geven zoals: “Leg in twee zinnen de kwantummechanica in zeer eenvoudige bewoordingen uit”. De feitelijke uitvoer van ChatGPT was de volgende:
Kwantummechanica is een tak van de natuurkunde die zich bezighoudt met het gedrag van kleine deeltjes zoals atomen en elektronen. Het vertelt ons dat deze deeltjes zich kunnen gedragen als zowel golven als deeltjes, en tegelijkertijd in veel verschillende toestanden kunnen zijn.
Zoals je kunt zien, is dit geen slecht antwoord.
Hoe is het zover gekomen?
Wat het in wezen doet, is voorspellen welke woorden, zinsdelen en zinnen waarschijnlijk worden geassocieerd met de invoer die ik zojuist heb gemaakt. Vervolgens kiest het de woorden en zinnen waarvan het denkt dat ze het meest waarschijnlijk met de invoer worden geassocieerd.
Dus het probeert uw prompt te begrijpen en vervolgens woorden en zinnen uit te voeren waarvan het voorspelt dat ze uw vraag het beste zullen beantwoorden, op basis van de gegevens waarop het is getraind. Het randomiseert ook sommige outputs zodat de antwoorden die je krijgt voor dezelfde input vaak verschillend zullen zijn.
Maar hoe werkt ChatGPT precies?
ChatGPT maakt gebruik van neurale netwerken, met gesuperviseerd leren en versterkend leren, twee belangrijke componenten van modern machine learning. Een gigantische dataset werd gebruikt om een deep learning neuraal netwerk te vormen. Dit is een meerlagig, gewogen algoritme dat vergelijkbaar is met de manier waarop wij geloven dat het menselijk brein werkt.
Hiermee kan ChatGPT patronen en relaties in de tekstgegevens leren. Een manier waarop het dit leren gebruikt, is het creëren van mensachtige reacties door te voorspellen welke tekst er in een bepaalde zin moet komen.
Nu wil ik je niet de indruk geven dat het net zoiets is als de voorspellende tekst op je telefoon die alleen maar raadt wat het woord zal zijn op basis van de letters die hij ziet. ChatGPT probeert volledig coherente zinnen te maken als reactie op elke invoer. En het blijft niet alleen bij zinsniveau.
Het genereert zinnen en zelfs alinea’s die uw invoer kunnen volgen. Het eerste dat u moet begrijpen, is dat hoe ChatGPT in wezen werkt, is dat het probeert te bepalen welke woorden het meest waarschijnlijk worden verwacht nadat u heeft geleerd hoe uw invoer zich verhoudt tot woorden die zijn geschreven op miljarden webpagina’s, boeken en andere gegevens die het is geweest. op getraind.
Laten we nu verder kijken naar de details
Laten we een heel eenvoudig voorbeeld doen. Laten we zeggen dat we hem vragen om deze zin af te maken: “Kwantummechanica is …” — De verwerking die achter de schermen plaatsvindt, gaat ongeveer als volgt. Het berekent uit alle instanties van deze tekst welk woord daarna komt en in welk deel van de tijd.
Laat me nu nuanceren dat het niet letterlijk naar tekst kijkt, maar van de natuurkunde die zich bezighoudt met het gedrag van kleine deeltjes zoals atomen en elektronen. Het vertelt ons dat deze deeltjes zich kunnen gedragen als zowel golven als deeltjes, en tegelijkertijd in veel verschillende toestanden kunnen zijn.
Maar hoe werkt dit precies?
Om te begrijpen hoe ChatGPT werkt, moeten we eerst kijken naar de technologie die het mogelijk maakt. Zoals eerder vermeld, maakt ChatGPT gebruik van neurale netwerken en machine learning-algoritmen.
Het model is getraind op grote hoeveelheden tekstgegevens uit diverse bronnen, zoals boeken, webpagina’s en nieuwsartikelen. Het model probeert vervolgens te voorspellen welke woorden en zinnen waarschijnlijk zullen volgen op een bepaalde invoer, en genereert zo een coherent antwoord.
Het model leert dus van de input die het krijgt en past zijn antwoorden daarop aan. Het is echter belangrijk op te merken dat het model alleen zo goed is als de gegevens waarop het is getraind.
Als het niet is getraind op een bepaald onderwerp of vraag, kan het zijn dat het geen relevant antwoord kan genereren. Ook moet het model regelmatig worden bijgewerkt met nieuwe gegevens om zijn prestaties te verbeteren.
Van het beantwoorden van vragen tot het schrijven van teksten
Hoewel ChatGPT niet perfect is en soms fouten kan maken, is het een indrukwekkende technologische prestatie en heeft het de potentie om de manier waarop we communiceren met computers en technologie in het algemeen te veranderen.
Van het beantwoorden van vragen tot het schrijven van teksten en het bieden van advies, de mogelijkheden zijn eindeloos. Als je het nog niet hebt geprobeerd, waarom zou je ChatGPT dan niet eens uitproberen en ontdekken hoe het je kan helpen?
Het zinsvoltooiingsmodel van ChatGPT kan stap voor stap bepalen wat het beste antwoord is op een vraag. Dit model kiest niet alleen de volgende woorden, maar werkt ook op zin- en alineaniveau, zodat het bijvoorbeeld de beste zin kan bedenken die past bij de context en betekenis van de eerste zin.
Bekrachtigend leren
Het model wordt getraind door menselijke contractanten de rol van zowel een gebruiker als de ideale chatbot te laten spelen in gesprekken. Hierdoor leert het model mensachtige gesprekken te voeren en patronen te leren over de context en betekenis van verschillende inputs. Het probleem met alleen het gebruik van menselijke trainers is de schaal, daarom wordt er gebruik gemaakt van bekrachtigend leren. Lees hier het gesprek tussen Goodfeeling.nl en ChatGPT over de klimaatveranderingen.
Dit proces traint het model waarbij geen specifieke uitvoer is gekoppeld aan een bepaalde invoer. De dataset die wordt gebruikt om ChatGPT te trainen, die is gebaseerd op GPT-3.5, is enorm, ongeveer 45 terabytes aan data. En de volgende versie GPT-4 is nog nauwkeuriger afgesteld.
Beide uitvoer is correct, maar ze zijn verschillend.
De boodschap hier is dat er veel mogelijke volgende woorden zijn, dus de antwoorden kunnen heel anders zijn telkens wanneer iemand exact dezelfde vraag stelt. Maar zoals ik al eerder zei, het model bedenkt niet alleen volgende woorden, het werkt ook op zins- en alineaniveau, zodat het bijvoorbeeld de beste zin kan uitvoeren die past bij de context en betekenis van de eerste zin.
Het zinsvoltooiingsmodel van ChatGPT is duidelijk niet genoeg als we iets vragen als “leg uit hoe kwantummechanica werkt”. Als ChatGPT alleen een zinsaanvullingsmodel zou gebruiken, zou de reactie zoiets kunnen zijn als: “Leg uit hoe de kwantummechanica werkt…volgens de Schrödinger-vergelijking.” Dit zou niet het soort antwoord zijn waarnaar de gebruiker op zoek was. Daarom wordt het model getraind om op een meer gepaste en gemoedelijke manier te reageren.
Het trainingsproces van ChatGPT bestaat uit drie stappen
In de eerste fase spelen menselijke contractanten de rol van zowel een gebruiker als de ideale chatbot. In de tweede fase leren de ontwikkelaars ChatGPT om een beloning of ranking toe te kennen aan elke output. In de derde stap, genaamd bekrachtigend leren, wordt het model getraind waarbij geen specifieke uitvoer is gekoppeld aan een bepaalde invoer.
Op deze manier kan het model een enorme hoeveelheid gegevens uit verschillende bronnen verwerken en de patronen leren uit teksten en zinnen van een vrijwel onbeperkt aantal onderwerpen.
De dataset die wordt gebruikt om ChatGPT te trainen, die is gebaseerd op GPT-3.5, is enorm, ongeveer 45 terabytes aan data. En de volgende versie GPT-4 is nog nauwkeuriger afgesteld.
Het verbazingwekkende is dat, hoe goed ChatGPT ook al is, de volgende versie GPT-4 getraind is op nog meer gegevens en nog nauwkeuriger is afgesteld. Het zou dus nog krachtiger moeten zijn.
Het leert patronen over de context en betekenis
Om ChatGPT te trainen, worden menselijke contractanten ingezet om de rol van zowel de gebruiker als de ideale chatbot te spelen in gesprekken. Het basisidee is om het model te trainen om mensachtige gesprekken te voeren en de waarschijnlijkheid te maximaliseren dat de juiste volgorde van woorden en zinnen wordt gekozen in een bepaalde conversatie.
Door dit begeleide, door mensen aangeleerde proces leert het een output te bedenken die meer is dan alleen het voltooien van zinnen. Het leert patronen over de context en betekenis van verschillende inputs, zodat het gepast kan reageren.
De output van de eerste fase wordt verder verfijnd in de tweede fase, waar de ontwikkelaars ChatGPT leren om een beloning of ranking toe te kennen aan elke output. Dit helpt ChatGPT om kritisch te evalueren wat waarschijnlijk de beste output zal zijn.
Bijvoorbeeld, een trainer kan het model vragen om iets te beschrijven, zoals een atoom, en de mogelijke antwoorden rangschikken van goed naar slecht. Dit leert ChatGPT om een meer gepaste en gemoedelijke reactie te bedenken.
Patronen leren uit teksten en zinnen
Het probleem met alleen het gebruik van menselijke trainers, zoals bij dit soort begeleid leren, is de schaal. Menselijke trainers zouden moeten anticiperen op alle invoer en uitvoer van elke mogelijke vraag die elke gebruiker op elk moment zou kunnen opvragen. Dit zou onmogelijk zijn.
Daarom wordt er in de derde stap van het trainingsproces gebruik gemaakt van bekrachtigend leren. Dit is een vorm van leren zonder toezicht en traint het model waarbij geen specifieke uitvoer is gekoppeld aan een bepaalde invoer.
Hierdoor kan het model een enorme hoeveelheid gegevens uit verschillende bronnen verwerken en de patronen leren uit teksten en zinnen van een vrijwel onbeperkt aantal onderwerpen.
Om de dataset te trainen, wordt er gebruik gemaakt van GPT-3.5, dat ongeveer 45 terabytes aan data bevat. Dit lijkt misschien niet zo veel volgens de huidige normen, waar je een terabyte flashdrive kunt kopen voor $20, maar dit is een enorme hoeveelheid tekst om te verwerken.
Elke terabyte staat gelijk aan 83 miljoen pagina’s aan informatie. Maar het is groot genoeg voor ChatGPT om patronen en relaties tussen woorden en zinsdelen te leren, zodat het voor bijna elke zoekopdracht relatief zinvolle uitvoer kan bedenken.
In staat om mensachtige gesprekken te voeren
Hoewel het niet mogelijk is om in dit artikel in te gaan op de details van de manier waarop tekstinformatie wordt omgezet in getallen of op de wiskunde en mechanismen van hoe neurale netwerken zoals ChatGPT werken, is het belangrijk om te begrijpen dat ChatGPT niet alleen volgende woorden bedenkt, maar ook werkt op zins- en alineaniveau om de beste zin te bedenken die past bij de context en betekenis van de input.
Dit stelt het model in staat om mensachtige gesprekken te voeren en gepaste reacties te bedenken.
Het is fascinerend om te bedenken dat het mensachtige reacties kan bedenken zonder dat er daadwerkelijk een mens aan de andere kant van het gesprek staat.
Dit kan leiden tot ethische kwesties, zoals de mogelijke verspreiding van desinformatie en de impact op de werkgelegenheid in bepaalde sectoren. Het is dus belangrijk om deze kwesties in gedachten te houden en verantwoord te handelen bij het gebruik van dergelijke technologieën.
Bron: YouTube video
