De Perceptron

Het eerste lerende algoritme

In 1957 introduceerde de psycholoog Frank Rosenblatt (Cornell University) de Perceptron, geïmplementeerd op de IBM 704-computer. De Perceptron was het eerste algoritme dat automatisch verbindingsgewichten kon aanpassen op basis van fouten — de essentie van machinaal leren. Anders dan de SNARC van Minsky en Edmonds, die analoog werkte, was de Perceptron een digitaal algoritme dat herhaaldelijk de gewichten bijstelde totdat het de gewenste classificaties correct leerde uitvoeren.

Hoe het werkt

Een Perceptron ontvangt invoer als een rij getallen (pixels van een afbeelding, kenmerken van een object), vermenigvuldigt elk met een gewicht, telt alles op en vergelijkt de som met een drempelwaarde. Als de uitvoer overeenkomt met de verwachte uitvoer, blijven de gewichten ongewijzigd. Als de uitvoer fout is, worden de gewichten aangepast: gewichten van invoer die tot de fout bijdroegen worden verkleind, gewichten die tot het correcte antwoord hadden geleid worden vergroot. Dit eenvoudige algoritme — de Perceptron-leerwet — was de eerste formele beschrijving van hoe een machine van voorbeelden kan leren.

Enthousiasme en overspannen verwachtingen

Rosenblatt was een uitstekende communicator en deed uitspraken die de media enthousiast maakten maar zijn collega's irriteerden. In 1958 meldde The New York Times dat de Perceptron “de eerste machine is die in staat is een idee te vormen op basis van directe kennis van de buitenwereld.” Rosenblatt sprak over Perceptrons die ooit konden lopen, praten, zichzelf reproduceren en zelfs bewust zouden zijn van hun bestaan. De U.S. Navy financierde zijn onderzoek royaal.

De val: Perceptrons (1969)

In 1969 publiceerden Marvin Minsky en Seymour Papert het boek Perceptrons: An Introduction to Computational Geometry. Hierin bewezen ze wiskundig dat enkelvoudige Perceptrons fundamenteel beperkt zijn: ze kunnen geen niet-lineair scheidbare patronen classificeren, zoals het XOR-probleem (waarbij geen enkele rechte lijn de twee klassen scheidt). Dit was geen nieuw inzicht voor experts, maar het boek was invloedrijk genoeg om de financiering voor neuraalnetwerk-onderzoek drastisch te verminderen. De eerste AI-winter begon.

Wat Minsky en Papert niet benadrukten — en wat sommigen hen later voor verwijten — was dat multi-layer perceptrons met terugkoppelingsleren (backpropagation) deze beperkingen konden overwinnen. Dit werd pas in 1986 breed gepubliceerd door Rumelhart, Hinton en Williams.

Frank Rosenblatt: een tragisch leven

Frank Rosenblatt (1928–1971) overleed op 43-jarige leeftijd bij een boatongeval op de Chesapeake Bay, op zijn eigen verjaardag. Hij heeft de rehabilitatie van zijn werk — en de deep learning revolutie die het idee van de Perceptron bevestigde — nooit meegemaakt. Zijn erfenis is onmiskenbaar: de Perceptron is de directe stamvader van elk neuraal netwerk dat vandaag de dag bestaat.

Bronnen

• Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Psychological Review, 65(6), 386–408.
• Minsky, M. & Papert, S. (1969). Perceptrons: An Introduction to Computational Geometry. MIT Press.
• Crevier, D. (1993). AI: The Tumultuous History of the Search for Artificial Intelligence. Basic Books.
• Wikipedia — Perceptron
• Wikipedia — Frank Rosenblatt