Updates · 4 november 2026
Hoe we Nederlandse en Engelse AI testen
Een trainingsrun die zonder foutmelding eindigt, bewijst nog niet dat een model beter is geworden. Daarvoor moet de meting herhaalbaar zijn en dezelfde vraag blijven beantwoorden.
Nederlands en Engels apart
De eerste producttalen van Sabine zijn Nederlands en Engels. We meten beide talen afzonderlijk, zodat een beter gemiddelde niet kan verbergen dat één taal achteruitgaat. Een uitkomst krijgt altijd de bijbehorende modelversie en testinstellingen mee.
Dezelfde testtekst behouden
Trainingstekst en evaluatietekst worden gescheiden. Een vingerafdruk van de evaluatietokens maakt zichtbaar of twee runs dezelfde testtekst hebben gebruikt. Als die tekst of de evaluatie-instelling verandert, mogen de cijfers niet zomaar als één voortgangslijn worden getoond.
Perplexiteit is niet het hele product
Perplexiteit beschrijft hoe goed een model de volgende tokens op de testtekst voorspelt; lager is beter op die meting. Dat bewijst op zichzelf geen feitelijke juistheid, veilig toolgebruik of bruikbaarheid voor echte opdrachten. Daarvoor zijn aanvullende inhoudelijke tests en gebruikstests nodig.
Geen winnaar zonder herhaling
Experimentele varianten worden naast een baseline en passende controles gezet. Datastroom, instellingen, rekentijd en toeval kunnen verschillen verklaren. Een korte rooktest toont alleen aan dat de keten draait. Een kwaliteitsclaim vraagt meerdere onafhankelijke herhalingen en controleerbare resultaten.