2016
AlphaGo verslaat Lee Sedol
DeepMinds AlphaGo verslaat Go-wereldkampioen Lee Sedol met 4–1, twintig jaar eerder dan experts hadden verwacht.
Het spel dat geen computer zou winnen
In maart 2016 speelde DeepMinds AlphaGo een wedstrijd van vijf partijen tegen Lee Sedol, een van de grootste Go-spelers aller tijden. AlphaGo won met 4–1. Het resultaat schokte de AI-wereld en het grote publiek. Go werd lang beschouwd als het laatste bordspel buiten het bereik van computers — te complex voor brute-kracht zoeken, een soort intuïtie vereisend die als uniek menselijk werd beschouwd. De meeste experts hadden menselijke superioriteit voorspeld voor nog minstens een decennium.
Hoe AlphaGo werkte
AlphaGo combineerde twee diepe neurale netwerken — een beleidsnetwerk dat kandidaatzetten selecteerde, en een waarderingsnetwerk dat bordposities evalueerde — met Monte Carlo-boomzoeken. Het beleidsnetwerk werd eerst getraind op een dataset van 160.000 expertpartijen (gesuperviseerd leren), daarna verbeterd door miljoenen partijen tegen zichzelf te spelen (versterkend leren). Deze combinatie van gesuperviseerd en versterkend leren was de sleutelinnovatie die AlphaGo mogelijk maakte.
Zet 37
In partij 2 speelde AlphaGo een zet — later Zet 37 genoemd — die de Go-wereld verstomde. De zet was zo onverwacht dat commentatoren aanvankelijk dachten dat het een vergissing was. Professionele Go-spelers schatten de kans op één op tienduizend. Lee Sedol verliet de kamer voor 15 minuten. Toen hij terugkwam, moest hij toegeven dat het een briljante zet was. Dat moment — toen een machine een zet speelde zo creatief dat de mensheid tijd nodig had om het te begrijpen — werd een symbool van een nieuw tijdperk in AI.
Erfenis
AlphaGo werd gevolgd door AlphaGo Zero (2017), dat volledig door zelfspel leerde zonder menselijke speldata, en AlphaZero, dat schaken, shogi en Go tegelijkertijd beheerste. DeepMinds vervolg, AlphaFold 2 (2020), paste vergelijkbare technieken toe om het eiwitvouwprobleem op te lossen — wat aantoonde dat de combinatie van deep learning en versterkend leren problemen ver buiten spelletjes kon aanpakken.
Bronnen
- Silver, D. et al. (2016). Mastering the game of Go with deep neural networks and tree search. Nature, 529, 484–489.
- Wikipedia — AlphaGo versus Lee Sedol