AlexNet — de deep learning-revolutie

Het moment dat deep learning het overnam

In september 2012 diende een team van de University of Toronto — Alex Krizhevsky, Ilya Sutskever en Geoffrey Hinton — AlexNet in voor de ImageNet Large Scale Visual Recognition Challenge. Het resultaat was schokkend: AlexNet behaalde een top-5-foutpercentage van 15,3%, vergeleken met 26,2% voor de nummer twee. Een marge van bijna 11 procentpunten was ongekend in de geschiedenis van de competitie. De AI-onderzoeksgemeenschap erkende dit onmiddellijk als een keerpunt.

Wat AlexNet anders maakte

AlexNet was een diep convolutioneel neuraal netwerk met acht lagen — vijf convolutionele en drie volledig verbonden. Wat het praktisch maakte waren drie sleutelinnovaties: het draaide op GPU's (twee NVIDIA GTX 580's), waardoor training haalbaar werd; het gebruikte ReLU-activeringsfuncties in plaats van tanh of sigmoid, wat veel sneller trainde; en het gebruikte dropout-regularisatie om overfitting te voorkomen. Dit waren geen nieuwe ideeën op zichzelf, maar AlexNet combineerde ze op een schaal die een kwalitatieve sprong in prestaties produceerde.

Rimpeleffecten

AlexNet veroorzaakte een cascade van gevolgen. Binnen maanden begonnen alle grote techbedrijven — Google, Facebook, Microsoft, Baidu — met massale investeringen in deep learning. De winnaars van ImageNet in 2013 en 2014 gebruikten diepe netwerken met nog meer lagen. In 2015 behaalde ResNet een foutpercentage van 3,57% — onder de menselijke prestatie van ongeveer 5%. De paper over AlexNet is meer dan 100.000 keer geciteerd en is een van de meest invloedrijke in de informatica. Het bewees dat Hintons overtuiging — dat diepe netwerken getraind op grote datasets alle andere benaderingen konden overtreffen — correct was.

Bronnen

• Krizhevsky, A., Sutskever, I. & Hinton, G.E. (2012). ImageNet Classification with Deep Convolutional Neural Networks. NeurIPS 2012.
• Wikipedia — AlexNet