De deep learning-doorbraak

Hinton en de opstanding van neurale netwerken

In 2006 publiceerden Geoffrey Hinton en zijn collega's aan de University of Toronto twee papers die het vakgebied van machine learning zouden transformeren. In A Fast Learning Algorithm for Deep Belief Nets (met Simon Osindero en Yee-Whye Teh) en een begeleidend stuk in Science toonde Hinton aan dat diepe neurale netwerken — netwerken met veel verborgen lagen — effectief konden worden getraind via een tweefasenproces: ongesuperviseerde pre-training laag voor laag, gevolgd door gesuperviseerde fine-tuning. Dit loste het verdwijnende-gradiëntprobleem op dat het trainen van diepe netwerken praktisch onhaalbaar had gemaakt.

Waarom het ertoe deed

Sinds Minsky en Paperts Perceptrons (1969) en de tweede AI-winter waren neurale netwerken grotendeels gemarginaliseerd ten gunste van support vector machines en andere statistische methoden. Hintons papers uit 2006 toonden aan dat diepte — veel lagen van niet-lineaire transformaties — netwerken in staat stelde steeds abstractere representaties van data te leren. Dit was de theoretische rechtvaardiging voor wat bekend zou worden als deep learning. Hinton bedacht de term zelf en stond jarenlang grotendeels alleen in zijn overtuiging dat deze aanpak AI zou transformeren.

Pad naar AlexNet en verder

De doorbraak van 2006 domineerde het vakgebied niet onmiddellijk — dat duurde tot 2012, toen AlexNet de ImageNet-competitie won met een enorme marge. Maar het heropende onderzoek naar neurale netwerken, trok nieuwe promovendi aan en legde de basis voor het decennium van doorbraken dat volgde. Hinton, Yann LeCun en Yoshua Bengio — het trio dat vaak de "grondleggers van deep learning" wordt genoemd — ontvingen de Turing Award in 2018 voor hun bijdragen.

Bronnen

• Hinton, G.E. et al. (2006). A Fast Learning Algorithm for Deep Belief Nets. Neural Computation, 18(7), 1527–1554.
• LeCun, Y., Bengio, Y. & Hinton, G. (2015). Deep learning. Nature, 521, 436–444.
• Wikipedia — Deep learning