Het Perceptron

De eerste leermachine

In 1957 introduceerde psycholoog Frank Rosenblatt aan het Cornell Aeronautical Laboratory het Perceptron — een machine-learningmodel geïnspireerd door het McCulloch-Pitts-neuron maar met één cruciale toevoeging: het kon leren. Het Perceptron paste zijn eigen gewichten aan op basis van voorbeelden, zonder expliciet te zijn geprogrammeerd met regels. Dit was een fundamentele verschuiving: in plaats van kennis te coderen, leidde de machine die af uit data.

Hoe het Perceptron werkt

Een Perceptron ontvangt ingangssignalen, vermenigvuldigt elk met een gewicht, telt de resultaten op en vuurt als de som een drempelwaarde overschrijdt. Tijdens het trainen worden de gewichten aangepast als de uitvoer onjuist is — iets verhoogd voor ingangen die vuren hadden moeten veroorzaken, iets verlaagd voor die dat niet hadden moeten doen. Rosenblatt bewees dat dit algoritme voor lineair scheidbare problemen altijd convergeert naar de juiste oplossing. De New York Times berichtte in 1958 dat de marine verwachtte dat het Perceptron zou "lopen, praten, zien, schrijven, zichzelf reproduceren en zich bewust zijn van zijn bestaan."

De val: Minsky en Papert

De euforie was van korte duur. In 1969 publiceerden Marvin Minsky en Seymour Papert Perceptrons, een rigoureuze wiskundige analyse die aantoonde dat een enkelvoudig Perceptron het XOR-probleem niet kon oplossen — een eenvoudige niet-lineair scheidbare taak. Hoewel meerlagige netwerken dit theoretisch konden oplossen, betwijfelden Minsky en Papert of er efficiënte trainingsalgoritmen bestonden. Het boek droeg aanzienlijk bij aan de eerste AI-winter en een decennium lang verval van onderzoek naar neurale netwerken.

Rehabilitatie en erfenis

De uitvinding van terugpropagatie in de jaren tachtig loste precies het probleem op dat Minsky en Papert hadden geïdentificeerd. Meerlagige Perceptronen — neurale netwerken met verborgen lagen — bleken in staat complexe niet-lineaire patronen te leren. Het Perceptron is tegenwoordig het standaard beginpunt voor elke cursus over neurale netwerken en deep learning. Rosenblatt zelf overleed in 1971 op 43-jarige leeftijd bij een bootongeval, zonder de volledige bloei van zijn ideeën te zien.

Bronnen

• Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6), 386–408.
• Minsky, M. & Papert, S. (1969). Perceptrons. MIT Press.
• Wikipedia — Perceptron