BERT

BERT: taal in context begrijpen

In oktober 2018 publiceerden onderzoekers van Google AI Language BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. BERT — Bidirectional Encoder Representations from Transformers — was een nieuwe benadering voor het pre-trainen van taalmodellen die tekst in beide richtingen tegelijk las, waardoor het model een woord kon begrijpen in de volledige context van de omringende zin. Het stelde tegelijkertijd nieuwe state-of-the-art-resultaten op elf taken voor verwerking van natuurlijke taal.

Wat BERT anders maakte

Eerdere taalmodellen zoals GPT (2018) lazen tekst van links naar rechts — elk woord zag alleen de woorden daarvoor. BERT gebruikte een gemaskerd taalmodeldoel: willekeurig woorden in een zin maskeren en het model trainen ze te voorspellen op basis van context van beide kanten. Deze bidirectionaliteit was cruciaal voor taken die diep begrip vereisen, zoals vraagbeantwoording, waarbij de betekenis van een woord vaak afhangt van wat erna komt. BERT introduceerde ook het voorspellen van de volgende zin als trainingsdoel, wat het model hielp relaties tussen zinnen te begrijpen.

Impact op zoeken en NLP

In 2019 kondigde Google aan dat BERT werd gebruikt in zijn zoekalgoritme — omschreven als "de grootste sprong voorwaarts in de afgelopen vijf jaar" voor zoekkwaliteit. BERT hielp Google de intentie achter zoekopdrachten te begrijpen in plaats van alleen trefwoorden te matchen. Voor de NLP-onderzoeksgemeenschap vestigde BERT het paradigma van pre-trainen en dan fine-tunen: een groot algemeen model trainen op enorme hoeveelheden tekst, het daarna aanpassen aan specifieke taken met een kleine gelabelde dataset. Deze aanpak werd de standaard voor het hele vakgebied.

Bronnen

• Devlin, J. et al. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805.
• Wikipedia — BERT