De deep learning doorbraak

Het herontwaken van neurale netwerken

In 2006 publiceerde Geoffrey Hinton samen met Simon Osindero en Yee-Whye Teh een baanbrekend artikel in het tijdschrift Neural Computation over Deep Belief Networks. De sleutel was een techniek waarbij diepe neurale netwerken laag voor laag werden voorgetraind — greedy layer-wise pre-training genaamd — waarna het gehele netwerk als geheel werd fijngestemd met gemerkte data. Dit loste een fundamenteel probleem op dat neurale netwerken al decennia parten had gespeeld.

Het probleem: verdwijnende gradienten

Neurale netwerken leren via backpropagation: het fout-signaal wordt van de uitvoerlaag teruggedragen naar de invoerlaag om gewichten bij te stellen. Maar in diepe netwerken (met veel lagen) werd dit fout-signaal steeds zwakker naarmate het dieper in het netwerk reisde — het vanishing gradient problem. Dit maakte het trainen van netwerken met meer dan twee of drie lagen praktisch onmogelijk. Als gevolg waren neurale netwerken in de jaren 1990 en vroege 2000s relatief ondiep en daarmee beperkt in wat ze konden leren.

De oplossing: laag-voor-laag pre-training

Hintons team liet zien dat diepe netwerken konden worden getraind als ze laag voor laag werden opgebouwd, waarbij elke laag eerst ongesuperviseerd werd getraind als een autoencoder of Restricted Boltzmann Machine (RBM) — een model dat de statistische structuur van zijn invoer leert weergeven. Na deze pre-training werd het netwerk als geheel fijngestemd met gelabelde data. Dit initialiseerde de gewichten in een gunstige regio van de parameterruimte, waarna normale backpropagation ook de diepste lagen effectief kon bijstellen.

Geoffrey Hinton: de godfather van deep learning

Geoffrey Hinton (geboren 1947) is de Brits-Canadese psycholoog en informaticus die meer dan wie ook heeft bijgedragen aan het herontwaken van neurale netwerken. Hij was mede-ontdekker van backpropagation in 1986 (Rumelhart, Hinton & Williams), werkte decennialang aan de Universiteit van Toronto en Google Brain, en ontving in 2018 de Turing Award — de Nobelprijs van de informatica — samen met Yann LeCun en Yoshua Bengio, de drie figuren die gezamenlijk de “godfather”-titel van deep learning dragen. In 2024 werd hij onderscheiden met de Nobelprijs voor Natuurkunde voor zijn baanbrekende bijdragen aan machine learning.

Gevolgen voor het vakgebied

Het artikel van 2006 opende de sluizen. Onderzoekers begonnen opnieuw serieus met diepe neurale netwerken te experimenteren, en binnen zes jaar leidde dit tot AlexNet (2012), de doorbraak die de deep learning-revolutie definitief inluidde. Bedrijven als Google, Facebook en Microsoft begonnen massaal te investeren in deep learning-onderzoek. De GPU's van NVIDIA — oorspronkelijk ontworpen voor videogames — bleken perfect geschikt voor de parallelle berekeningen die deep learning vereiste, en NVIDIA's waarde steeg in de jaren erna naar astronomische hoogten.

Bronnen

• Hinton, G.E., Osindero, S. & Teh, Y.W. (2006). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7), 1527–1554.
• LeCun, Y., Bengio, Y. & Hinton, G. (2015). Deep learning. Nature, 521, 436–444.
• Wikipedia — Deep learning
• Geoffrey Hinton — Universiteit van Toronto