nieuwsConclusionNieuwsIn vijf minuten bij ...

In vijf minuten bij over ChatGPT

Je hebt het misschien al getest, of zelfs al gebruikt voor werk of studie: ChatGPT. De tool komt steeds vaker in beeld. Maar wat is het nou eigenlijk, deze superchatbot? En nog belangrijker, wat kan het niet? Maarten Smeets en Steven Grond van AMIS | Conclusion zochten het voor je uit.

1 februari 2023 | Blog | Door: Orion Daalhuizen

Deel

ChatGPT in het kort

Technisch gezegd is GPT een generatief AI-model en is ChatGPT een chat user interface bovenlaag. Er zijn diverse modellen die getraind zijn op grote datasets en nieuwe data genereren zoals tekst, beeld of audio. Hierin is (Chat)GPT niet uniek, DALL-E en StableDiffusion zijn voor beeldcreatie bekende voorbeelden.

Wij hebben het specifiek over de OpenAI GPT. Open AI is eind 2015 opgericht door o.a. Elon Musk en oorspronkelijk gericht op onderzoek. Musk stapte begin 2018 uit de board vanwege meningsverschillen. In 2018 kwam GPT-1 beschikbaar, getraind op basis van boeken. In 2019 kwam GPT-2 op aanvullende basis van Reddit-links beschikbaar en in 2020 GPT-3, getraind op basis van Wikipedia, boeken, academische tijdschriften, Reddit-links en Common Crawl. Common Crawl is een soort openbare database met Petabytes (= duizend terabytes) aan data verzameld in 12 jaar internetcrawling. De GPT variant die wij nu gebruiken is GPT-3.5 en dateert uit begin 2022. ChatGPT zelf werd eind 2022 gelanceerd.

ChatGPT is getraind met 10.000 grafische kaarten (NVIDIA Tesla A100 GPU) waar superveel input van het internet aan is gevoed. Dit resulteerde in een mum van tijd (grove schatting van een maand) in het GTP-3.5 model. Ter vergelijking: als je ChatGPT-3.5 had willen trainen met één grafische kaart, dan had het zo’n 355 jaar gekost om het model te trainen!

Generative Pretrained transformer

GPT staat voor Generative Pretrained Transformer. De architectuur van het machine learning model is een transformer network, een deep learning model dat min of meer de opvolger is van RNN (Recurrent Neural Network). GPT kan parallel getraind worden en parallel output leveren, in tegenstelling tot RNN’s die dat sequentieel doen. Er zijn drie belangrijke elementen die dat mogelijk maken:

Positional encoding: computers kennen geen letters, maar door binair de woorden in een zin te nummeren kun je het model trainen om de volgorde te leren.
Attention: het model weegt alle input – dus alle woorden – om een deel van de input te kunnen voorspellen. Dat maakt het mogelijk om parallel te trainen.
Self attention: er zit context in je input, bijvoorbeeld een zin met ‘nee’ of ‘niet’. Het model kan die begrijpen en rekening houden met de context in de output.

Wat kan ChatGPT?

Bijzonder veel! Het is een search engine on steroids. Je kunt het instructies, handleidingen en stappenplannen laten genereren. Het kan teksten genereren, vertalen en herformuleren. Het kan code schrijven, uitleggen wat een code doet, testdata genereren, muziek maken (althans, op tekst gebaseerde noten-notatie), advies van experts valideren. ChatGPT verzamelt ook de context van de hele conversatie, waardoor je kunt doorvragen en voortborduren op eerdere antwoorden. Het kan je zelfs helpen met relatieadvies (eigen risico). Hier zit wel een winstwaarschuwing bij: niet alles wat ChatGPT uitspuwt klopt. Daarover zo meer.

Maarten en Steven zochten ook uit hoe het met auteursrechten zit. Want wie is nou eigenlijk eigenaar van de output van de AI? Dat blijkt jijzelf te zijn, aangezien AI geen auteursrechten kan hebben. En met de creativiteit die je zelf steekt in de vraagstelling, in de unieke output en in wat je vervolgens met de output doet maak je het volledig eigen. Let wel op: als de GPT content produceert die herleidbaar is op een specifieke bron, heeft onder Amerikaans recht de oorspronkelijke auteur het auteursrecht. Reken jezelf dus niet te snel rijk!

Wat kan ChatGPT niet?

Deze alleskunner kent zo z’n zwaktes. Ook in de dingen die het juist wel kan. Fun fact: Je kunt ChatGPT vragen waar het slecht in is. Zo begrijpt het niet altijd de juiste context of bijvoorbeeld sarcasme en heeft het moeite met subjectiviteit, common sense en abstractie. Maar er zijn nog andere nadelen:

Chat GPT is closed source, dus niet lokaal te installeren. Je geeft alle input aan Open AI en indirect aan Microsoft, want ChatGPT draait op Azure.
Het kan niet interacteren met de fysieke wereld, enkel simuleren.
De dataset die het nu hanteert is tot september 2021. Alle content van daarna kent het niet. Het weet bijvoorbeeld niet over de oorlog in Oekraïne.
Je kunt de bronnen die het gebruikt in het antwoord op je vraag niet valideren.
ChatGPT is niet duurzaam, er hangt een substantieel prijskaartje en de nodige Co2-uitstoot aan het trainen en het gebruiken van dit soort modellen. Maar dat is bij een simpele Google search natuurlijk ook zo.
Ethische vraagstukken, mag alles wat ermee kan? Moeten we scholieren waarschuwen voor het gebruik van ChatGPT, of juist zo goed mogelijk helpen in het juiste gebruik ervan? Dit moet allemaal nog blijken.

De toekomst van ChatGPT

We verwachten GPT-4 eind 2023. Er gaan veel geruchten rond over de update, maar er is nog weinig concreet bekend. Daarnaast werkt OpenAI aan videogeneratie. Microsoft werkt aan ChatGPT integratie met Microsoft Bing en stemgeneratie (VALL-E). Artificial General Intelligence (AGI) – AI die menselijke cognitieve taken kan leren – laat voorlopig nog op zich wachten.