Llama, Mistral en open source AI

Open source AI: van academisch speelgoed tot serieuze concurrent

Een van de meest significante ontwikkelingen van 2023 was de explosieve groei van open source grote taalmodellen. Terwijl OpenAI, Anthropic en Google hun frontier-modellen achter API-muren hielden, begon Meta actief de beste open modellen te publiceren. En vanuit Europa verraste Mistral AI de wereld met een efficiënt model dat zijn gewichtsklasse ver overtrof. Open source AI was niet langer een academische bijzaak, maar een serieuze alternatief.

Meta Llama: het begin

In februari 2023 bracht Meta AI — de onderzoeksafdeling van het sociale mediabedrijf — het LLaMA-model (Large Language Model Meta AI) uit voor onderzoekers. LLaMA was beschikbaar in vier groottes (7B, 13B, 30B en 65B parameters) en presteerde sterk op benchmarks, met de 65B-versie die GPT-3 overtrof. Hoewel het officieel alleen voor onderzoekers was, lekte het model binnen een week online en werden tientallen afgeleide modellen gepubliceerd.

De gelekte Llama modellen werden de basis voor een explosie van community-experimenten. Alpaca (Stanford), Vicuna (UC Berkeley), WizardLM en tientallen andere modellen werden fijngezet op instructie-data en gepubliceerd op HuggingFace. Ontwikkelaars konden voor het eerst taal-AI draaien op hun eigen laptop, zonder API-kosten of privacyzorgen over het sturen van data naar externe servers.

Llama 2: volledige open source voor commercieel gebruik

In juli 2023 publiceerde Meta Llama 2, dit keer als volledig open source model dat ook commercieel mocht worden gebruikt — met uitzondering van producten met meer dan 700 miljoen maandelijkse actieve gebruikers. Llama 2 was getraind op 2 biljoen tokens en was de eerste open source LLM van frontier-kwaliteit die vrij beschikbaar was. Het werd onmiddellijk geïntegreerd in honderden producten en services, en Microsoft kondigde aan het in Azure te hosten.

Mistral AI: Europese efficiëntie

In september 2023 bracht Mistral AI, een Parijs-gebaseerd startup opgericht door voormalige DeepMind- en Meta-onderzoekers, zijn eerste model uit: Mistral 7B. Het model, met slechts 7 miljard parameters, overtrof Llama 2-13B op de meeste benchmarks en stond zelfs zijn mannetje tegen Llama 2-34B op sommige taken. De sleutel was architectuurinnovatie: Grouped Query Attention voor snellere inferentie en Sliding Window Attention voor efficiente verwerking van lange teksten.

Mistral 7B werd als torrent gepubliceerd op de originele aankondiging — een bewuste keuze voor maximale toegankelijkheid. Binnen een jaar haalde Mistral AI een waardering van meer dan 2 miljard euro op en lanceerde het meerdere grotere modellen, waaronder Mixtral 8x7B (een Mixture of Experts-model). Mistral werd een symbool voor Europese AI-ambitie en bewees dat excellente AI niet alleen uit de Silicon Valley hoeft te komen.

Bronnen

• Touvron, H. et al. (2023). LLaMA: Open and Efficient Foundation Language Models. arXiv:2302.13971.
• Touvron, H. et al. (2023). Llama 2: Open Foundation and Fine-Tuned Chat Models. arXiv:2307.09288.
• Jiang, A.Q. et al. (2023). Mistral 7B. arXiv:2310.06825.
• Wikipedia — LLaMA
• Mistral AI officieel