SNARC — het eerste neurale netwerk in hardware

SNARC: leren in hardware

In 1951 bouwden twee Princeton-studenten, Marvin Minsky en Dean Edmonds, de Stochastic Neural Analog Reinforcement Calculator, kortweg SNARC. Het apparaat was het eerste fysieke implementatie van een lerend neuraal netwerk: niet een wiskundig model op papier, maar een daadwerkelijk functionerende machine die haar eigen gedrag aanpaste op basis van succes en falen. SNARC markeerde de overgang van neurale-netwerk-theorie naar neurale-netwerk-technologie.

Bouw en werking

SNARC bestond uit 40 kunstmatige neuronen, ge-implementeerd met vacuümbuizen, motoraandrijvingen en een netwerk van verstelbare weerstanden die de verbindingssterkte (gewichten) tussen neuronen voorstelden. De machine simuleerde een rat die een doolhof probeert te navigeren: verbindingen die tot een succesvolle route leidden, werden versterkt; verbindingen die tot doodlopende wegen leidden, werden verzwakt. Dit was een vroege en ruwe vorm van wat we nu reinforcement learning noemen. Minsky en Edmonds bouwden de machine zelf, inclusief de behuizing, en het geheel was vergelijkbaar met een kast vol elektronica — indrukwekkend voor zijn tijd, maar primitief naar huidige maatstaven.

Marvin Minsky: van SNARC naar AI-grondlegger

Marvin Minsky (1927–2016) was een van de meest invloedrijke en controversiële figuren in de geschiedenis van AI. Na Princeton ging hij naar Harvard, daarna naar MIT, waar hij in 1959 samen met John McCarthy het MIT Artificial Intelligence Laboratory oprichtte — het eerste AI-lab ter wereld. Minsky was mede-organisator van de Dartmouth Conference in 1956 en bedacht talloze ideeën over representatie van kennis, frames en gemeenplaatsen van AI-architectuur. Zijn boek Perceptrons (1969), geschreven met Seymour Papert, was ook zijn meest controversiële bijdrage: het wees op fundamentele beperkingen van enkelvoudige perceptrons en droeg bij aan de eerste AI-winter. Ironisch genoeg remde dit het onderzoek naar multi-layer perceptrons — de directe voorlopers van modern deep learning — voor meer dan een decennium.

Betekenis in de AI-geschiedenis

SNARC was historisch belangrijk om meerdere redenen. Ten eerste toonde het aan dat leren — het aanpassen van gedrag op basis van ervaring — iets was dat een machine kon doen, niet alleen een biologisch wezen. Ten tweede was het de eerste keer dat het idee van gewichten in een neuraal netwerk fysiek werd gerealiseerd, zij het analoog. Ten derde was het een bewijs van concept voor wat later reinforcement learning zou heten: een agent die via trial-and-error optimaal gedrag leert in een omgeving met beloningssignalen.

Van vacuümbuizen naar GPU-clusters

De weg van SNARC (40 neuronen, gevuld in een kast) naar moderne neurale netwerken (GPT-4 heeft honderden miljarden parameters, gedistribueerd over duizenden GPU's) is een van de grootste technologische progressies in de menselijke geschiedenis. In zeventig jaar groeide de schaal met meer dan negen ordes van grootte. Maar het fundamentele idee — netwerken van gekoppelde eenheden met aanpasbare verbindingsgewichten die leren via feedback — is vrijwel identiek aan wat Minsky en Edmonds in 1951 bouwden. SNARC is daarmee een directe stamvader van ChatGPT, AlphaFold en elk ander modern AI-systeem.

Dean Edmonds verliet na zijn studie de AI-wereld en trad in dienst bij een technologiebedrijf. Minsky bleef tot zijn dood in 2016 aan MIT werken en produceerde invloedrijke ideeën over intelligentie, bewustzijn en de toekomst van AI, ook al was zijn positie tegenover neurale netwerken altijd ambivalent.

Bronnen

• Minsky, M. (1954). Neural Nets and the Brain Model Problem (PhD-dissertatie). Princeton University.
• Crevier, D. (1993). AI: The Tumultuous History of the Search for Artificial Intelligence. Basic Books.
• Nilsson, N.J. (2010). The Quest for Artificial Intelligence. Cambridge University Press.
• Wikipedia — Marvin Minsky
• Wikipedia — SNARC