ImageNet

De dataset die alles veranderde

In 2009 presenteerde Fei-Fei Li en haar team aan de Stanford University de ImageNet Large Scale Visual Recognition Challenge (ILSVRC) — een dataset van meer dan 14 miljoen handmatig gelabelde afbeeldingen verdeeld over meer dan 20.000 categorieën. ImageNet was het resultaat van jaren moeizaam werk: via Amazon Mechanical Turk werden duizenden crowdworkers ingezet om miljoenen afbeeldingen te labelen. De aanpak was creatief maar ook arbeidsintensief en kostte jaren. Fei-Fei Li noemde haar inspiratie de biologie: “kinderen leren zien door miljoenen afbeeldingen te zien in de eerste jaren van hun leven.”

De ILSVRC-competitie

Vanaf 2010 organiseerde het team een jaarlijkse competitie waarbij teams van over de hele wereld hun computer vision-algoritmen testten op een subset van 1.000 categorieën en 1,2 miljoen afbeeldingen. De foutpercentages van de beste teams daalden elk jaar, maar de verbeteringen waren aanvankelijk bescheiden. Totdat in 2012 het team van Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton deelnam met AlexNet en de foutmarge met meer dan 10 procentpunten verbeterde. Dit was de schok die de AI-wereld wakker schudde.

Fei-Fei Li: de architect van ImageNet

Fei-Fei Li (geboren 1976) emigreerde als 15-jarige vanuit China naar de VS en studeerde later natuurkunde aan Princeton, daarna AI aan Caltech. Ze is hoogleraar aan Stanford en een van de meest invloedrijke AI-wetenschappers ter wereld. Na ImageNet richtte ze het Stanford Human-Centered AI Institute (HAI) op, dat onderzoek doet naar de sociaal-maatschappelijke aspecten van AI. Ze diende als Chief Scientist of AI bij Google Cloud en is een prominente stem voor diversiteit en inclusie in de AI-gemeenschap. Haar boek The Worlds I See (2023) beschrijft haar reis van immigrant tot wereldwijd erkende AI-pionier.

Waarom data zo cruciaal is

ImageNet illustreerde een fundamentele les van modern machine learning: meer dan het algoritme is het de data die het model maakt. Zonder grote, goed gelabelde datasets zijn de meeste deep learning-algoritmen nutteloos. Deze les had verstrekkende gevolgen: technologiebedrijven begonnen enorme hoeveelheden data te verzamelen en labelen. Common Crawl (webtekst), LAION-5B (afbeeldingen), en de trainingsdata van ChatGPT zijn directe nakomelingen van de ImageNet-filosofie. De vraag wie deze data bezit en mag gebruiken is een van de centrale ethische vraagstukken van de moderne AI-industrie.

Schaalwetten bevestigd

ImageNet bevestigde ook de scaling laws die later formeel door OpenAI werden beschreven: meer data leidt tot betere prestaties, en de relatie is vrij voorspelbaar. Dit gaf bedrijven als Google, Facebook en later OpenAI een directe prikkel om zo veel mogelijk data te verzamelen — een dynamiek die de afgelopen jaren heeft geleid tot juridische conflicten over auteursrecht, privacy en eerlijk gebruik van trainingsdata.

Bronnen

• Deng, J. et al. (2009). ImageNet: A Large-Scale Hierarchical Image Database. Proceedings of CVPR.
• Russakovsky, O. et al. (2015). ImageNet Large Scale Visual Recognition Challenge. International Journal of Computer Vision, 115(3), 211–252.
• Li, F. (2023). The Worlds I See: Curiosity, Exploration, and Discovery at the Dawn of AI. Flatiron Books.
• ImageNet officieel
• Wikipedia — ImageNet