Google introduceert FabScore: nieuwe maatstaf tegen fabricaties in AI-onderzoek

Google Research presenteert FabScore, een gedetailleerde evaluatiemethode die fabricaties in door AI gegenereerd wetenschappelijk onderzoek moet blootleggen en de betrouwbaarheid van geautomatiseerde AI-onderzoekssystemen vergroot.

Fabricaties in AI-onderzoek vormen een groeiend probleem nu steeds meer wetenschappelijke publicaties geheel of gedeeltelijk door kunstmatige intelligentie worden opgesteld. Google Research heeft daarom FabScore gelanceerd, een nieuw evaluatiesysteem dat specifiek is ontworpen om verzonnen claims, data en conclusies in automatisch gegenereerd AI-onderzoek fijnmazig op te sporen. De publicatie komt op een moment dat grote techbedrijven in hoog tempo AI-systemen inzetten die zelfstandig hypotheses opstellen, experimenten simuleren en wetenschappelijke papers schrijven, waardoor controle op feitelijke juistheid urgenter wordt dan ooit.

Wat is FabScore precies?

FabScore is een evaluatiemethode waarmee onderzoekers niet alleen kunnen vaststellen dát een AI-systeem iets heeft verzonnen, maar ook hoe en waar dat gebeurt. In plaats van een gegenereerd onderzoeksdocument in zijn geheel te beoordelen op geloofwaardigheid, ontleedt FabScore de tekst in kleine, controleerbare beweringen. Elke bewering wordt vervolgens getoetst aan onderliggende data, brondocumenten of experimentresultaten. Dit fijnmazige karakter is wat FabScore onderscheidt van eerdere, grovere detectiemethoden: het systeem markeert precies welke zin, cijfer of conclusie niet strookt met de werkelijkheid, in plaats van een vaag algemeen betrouwbaarheidsoordeel te geven.

Waarom dit probleem nu urgent wordt

De afgelopen jaren hebben grote AI-spelers, waaronder Google zelf, geïnvesteerd in zogeheten "AI-wetenschappers": systemen die autonoom literatuuronderzoek doen, experimenten opzetten en resultaten rapporteren. Deze geautomatiseerde onderzoekspijplijnen beloven een enorme versnelling van wetenschappelijke ontdekkingen, maar brengen ook een nieuw risico met zich mee: AI-modellen kunnen overtuigend klinkende, maar feitelijk onjuiste resultaten produceren. Zulke fabricaties zijn lastig te detecteren omdat gegenereerde teksten vaak vloeiend, consistent en vakkundig ogen, terwijl de onderliggende data ontbreken of verzonnen zijn. Dit sluit aan bij bredere maatschappelijke zorgen rond AI-betrouwbaarheid, zoals ook blijkt uit berichtgeving over AI-chatbots die foutieve informatie verspreiden over actuele gebeurtenissen. Voor AI-toepassingen in de wetenschap is het dus cruciaal dat er heldere kwaliteitscontroles komen voordat geautomatiseerd onderzoek als betrouwbaar wordt bestempeld.

Hoe Google FabScore heeft opgebouwd

Volgens de onderzoekers van Google Research is FabScore getraind en getest op een dataset van door AI gegenereerde onderzoeksrapporten, waarbij menselijke experts de fabricaties handmatig hebben geannoteerd. Door deze benchmark te gebruiken, kan FabScore automatisch nieuwe, door AI geschreven papers scannen en een gedetailleerd overzicht geven van mogelijke verzinsels. Dit maakt het systeem bruikbaar als een soort kwaliteitscontrole-laag bovenop bestaande AI-onderzoeksassistenten, vergelijkbaar met hoe spellingscontrole of plagiaatdetectie al jaren wordt ingezet in academische kringen. Belangrijk is dat FabScore niet alleen bedoeld is om fouten achteraf te vinden, maar ook om ontwikkelaars van AI-modellen te helpen hun systemen te verbeteren. Door precies te zien welk type fabricatie het vaakst voorkomt, zogenaamd verzonnen statistieken, niet-bestaande citaten of overdreven conclusies, kunnen modelontwikkelaars gerichter bijsturen tijdens de trainingsfase.

Betekenis voor de bredere AI-sector

De lancering van FabScore past in een trend waarbij grote technologiebedrijven steeds meer nadruk leggen op verifieerbaarheid en transparantie van AI-output, nu AI-systemen een grotere rol spelen in besluitvorming, van boardrooms tot wetenschappelijke instituten. Net zoals autonome AI-agents hun intrede doen in bedrijfsvoering, doen geautomatiseerde onderzoekssystemen dat in de wetenschap. Zonder betrouwbare controlemechanismen zoals FabScore dreigt het risico dat verzonnen resultaten zich verspreiden door de wetenschappelijke literatuur, met mogelijk verstrekkende gevolgen voor vervolgonderzoek en beleid. Voor wie de bredere context van deze ontwikkeling wil begrijpen, is het nuttig om de geschiedenis van kunstmatige intelligentie erbij te pakken: van regelgebaseerde systemen tot de huidige generatieve modellen is betrouwbaarheid altijd een centraal thema geweest, maar de schaal waarop AI nu wetenschappelijke claims kan produceren is ongekend.

Conclusie en vooruitblik

Met FabScore zet Google een concrete stap om het vertrouwen in geautomatiseerd AI-onderzoek te vergroten. Het systeem biedt een fijnmazige manier om fabricaties op te sporen en kan uitgroeien tot een standaardinstrument voor wetenschappers, uitgevers en AI-ontwikkelaars die willen voorkomen dat verzonnen resultaten als feit worden gepresenteerd. Naarmate AI een steeds grotere rol speelt in onderzoek en besluitvorming, zullen dit soort controlemechanismen onmisbaar worden. Benieuwd naar meer ontwikkelingen op dit vlak? Bekijk meer AI-nieuws of verdiep je in onze kennisbank voor achtergrondartikelen over AI-betrouwbaarheid en -toepassingen.

Google Research

---

Bron: Google Research