2023
Llama, Mistral en open-source AI
Meta lanceert Llama en later Llama 2 als open-source LLM's; Mistral AI uit Parijs brengt Mistral 7B uit dat gesloten modellen overtreft — open-source AI wordt volwassen.
Open source slaat terug
Terwijl OpenAI, Anthropic en Google met gesloten frontiermodellen concurreerden, was 2023 ook het jaar dat open-source AI zijn eigen weg vond. Meta bracht Llama uit in februari 2023 — een familie taalmodellen van 7 tot 65 miljard parameters, aanvankelijk bedoeld voor onderzoekers. De gewichten lekten binnen dagen uit en verspreidden zich snel over het internet. De open-source AI-gemeenschap had zijn eerste competitieve basismodel.
Llama 2 en Meta's strategie
In juli 2023 bracht Meta Llama 2 officieel uit als open source, met commercieel gebruik toegestaan. Dit was een strategische beslissing: Meta had geen direct commercieel belang bij het verkopen van AI-diensten, maar wel een sterk belang bij een gezond open-source AI-ecosysteem dat lock-in naar concurrenten' proprietary modellen voorkwam. Llama 2 was op veel benchmarks concurrerend met GPT-3.5 en werd het meest gebruikte open-source LLM.
Mistral: klein maar krachtig
In september 2023 bracht Mistral AI — een Parijs-gebaseerde startup opgericht door voormalige DeepMind- en Meta-onderzoekers — Mistral 7B uit. Ondanks slechts 7 miljard parameters overtrof het Llama 2 13B op de meeste benchmarks, wat aantoonde dat architectuurverbeteringen en efficiënte training modelomvang konden compenseren. Mistral's open-release-aanpak en Europese wortels maakten het tot een symbool van de mogelijkheid van competitieve AI buiten de Amerikaanse techgiganten.
Bronnen
- Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
- Wikipedia — Llama
- Wikipedia — Mistral AI