Kan één AI-model werkelijk op alle vlakken tegelijk excelleren

'Shock! Shock!' Zo opende de bekende wiskundige Donald Knuth zijn jongste artikel, over hoe hij met Claude Opus 4.6 een combinatorisch probleem kon aanpakken waarop hij al een tijdje vastliep. Samen met een collega had hij een uurtje gespard met het AI-taalmodel, toen er tot hun grote verrassing een bruikbare formule uit rolde. Het systeem kon razendsnel zaken vinden die er iets of wat verband mee hielden en daarmee aan het rekenen slaan. Zo vond het een patroon waarvan Knuth vervolgens kon bewijzen dat het inderdaad een deel van zijn probleem oploste.

Lees het volledige opiniestuk in De Tijd

Het artikel kreeg meteen veel ruchtbaarheid, want het toont de bruikbaarheid van large language models (LLM's) als nieuwe tool voor wiskundig onderzoek. Claude beschikt intussen over een brede kennis van de wetenschappelijke literatuur en helpt een onderzoeker efficiënt te navigeren naar wat bruikbaar kan zijn. Dat vergt met klassieke methodes veel tijd en cognitieve inspanning, telkens met het risico op een dood spoor. Na de bekendmaking gingen andere wiskundigen meteen aan de slag om de volledige oplossing te vinden, iets waarin Claude niet leek te slagen. Ze begonnen te pingpongen tussen de topmodellen en de codegeneratoren van Claude en OpenAI, waardoor ChatGPT uiteindelijk met een bewijs van nog een deel van het probleem kwam. Het verhaal werd zo meteen ook een illustratie van samenwerking tussen systemen.

Wisselend succes

Wie zelf vaak met LLM's brainstormt, merkt dat modellen snel verbeteren. Tegelijk blijft succes wisselend en taakafhankelijk. Waarmee het ene model moeite heeft, daarin blinkt het andere uit. Vergelijkende studies tonen aan dat sommige modellen sterk zijn in het genereren van coherente tekst of grote codebases, andere in patroonherkenning, en nog andere in foutdetectie. De verschillen zijn deels het gevolg van strategische keuzes in training en doelstellingen.
Vaak klinkt het dat die kloof vanzelf zal verdwijnen als modellen verder opschalen. Toch rijst de vraag of één model werkelijk op alle vlakken tegelijk kan excelleren. Zorgvuldige redeneringen vragen tijd en rekenkracht, terwijl snelheid vaak een belangrijke factor is. Creativiteit stimuleert exploratie, wat kan leiden tot het missen van de evidentie.
Sommige modellen laten de gebruiker kiezen tussen die strategieën. Zou een systeem dat in de toekomst zelf kunnen beslissen? Dan moet het inschatten of een probleem diep zoeken vereist of eerder snelle heuristiek. Als we zouden vragen naar een zelfreflectie, hoeveel keer moet het LLM dan zijn eigen antwoord kritisch bekijken? En als het systeem in een verkeerde context vastzit, kan het dat dan zelf herkennen?

In bedrijven bestaan sterke teams uit diverse profielen. Dat principe moeten we ook voor AI hanteren

Wiskundig komen we hier bij de optimalisatietheorie. Het is bekend dat het voor een grote klasse van problemen moeilijk te bepalen is of een gevonden oplossing globaal gezien de beste is. Verbetering in één dimensie gaat gepaard met achteruitgang elders. De wet van behoud van miserie, wordt dat weleens genoemd. Het idee van één universeel model dat overal tegelijk top presteert, botst dus met de wiskundige realiteit.
Misschien moeten we dan ook de ambitie herdenken. In bedrijven bestaan sterke teams uit diverse profielen. Samenwerking tussen verschillende specialisten levert betere resultaten op. Dat principe moeten we ook voor AI hanteren. Een model dat hypotheses genereert, kan worden bevraagd door een model dat kritisch analyseert. Een codegenerator kan zijn output laten controleren door een verificatiemodel. Verschillende perspectieven versterken elkaar en verhogen de betrouwbaarheid.

Het betekent niet dat ik ijver voor een autonoom AI-team. In Knuths verhaal blijven de onderzoekers de piloot. De grootste winst ligt wellicht in het voorzien van een geschikt LLM voor elk teamlid. De specialist krijgt een digitale kompaan die ondersteunt en tijdrovende taken overneemt, maar waarbij hij het eigenaarschap van de output behoudt en beslist wanneer die voldoende kwaliteit heeft om te worden doorgegeven.
Bedrijven hebben de neiging voor één AI-ecosysteem te kiezen. Vanuit commercieel standpunt is dat begrijpelijk. Maar ik zie vooruitgang ontstaan door systemen van verschillende spelers te combineren. In de tv-serie 'The A-Team' had elk teamlid een unieke rol. Er was een strategische leider, een charmante oplichter, een technische kracht en een onvoorspelbare piloot. Samen bleken die uiteenlopende profielen een effectief geheel te vormen. Misschien moeten we naar iets gelijkaardigs, waarbij abonnementen korting geven als meerdere modellen samenwerken, omdat de gezamenlijke waarde groter is dan de afzonderlijke. Het nieuwe A-team van AI!