RAG vs Fine-tuning voor Bedrijfs-AI

Wanneer een Nederlandse organisatie een taalmodel wil verrijken met eigen kennis staat ze voor een architectuurkeuze: Retrieval-Augmented Generation (RAG) of fine-tuning. Het is nadrukkelijk geen model-keuze (Claude vs ChatGPT vs Gemini — zie Claude vs ChatGPT zakelijk of de pillar-guide ChatGPT vs Claude vs Gemini), en ook geen deployment-keuze (cloud-SaaS vs private — zie ChatGPT Enterprise vs Private AI) of build-keuze (maatwerk vs kant-en-klaar — zie Custom AI vs kant-en-klare AI en Open source AI vs commercieel). RAG vs fine-tuning gaat over hoe u de kennis koppelt aan het model dat u al gekozen heeft.

RAG werd in mei 2020 geïntroduceerd door Lewis et al. van Meta AI, University College London en NYU en gepubliceerd op NeurIPS 2020. De oorspronkelijke definitie: een model dat parametrisch geheugen (de gewichten van het taalmodel) combineert met niet-parametrisch geheugen (een dense vector-index van Wikipedia-passages, benaderd via een neurale retriever). Bij elke query doorzoekt een embedding-based retriever de kennisbank, haalt de top-k relevante passages op en geeft die samen met de vraag door aan het taalmodel, dat vervolgens een antwoord synthetiseert. Het model zelf blijft onaangeroerd; alleen de context-injectie verandert per query. De auteurs toonden state-of-the-art resultaten op drie open-domain QA-benchmarks en noteerden dat de retrieval-component het model "meer specifieke, diverse en feitelijk correcte taal" liet genereren.

Fine-tuning is fundamenteel anders: hier traint u een bestaand taalmodel dóór op uw eigen data, waardoor patronen, terminologie en kennis in de modelparameters worden geïntegreerd. Sinds 2021 is dit aanzienlijk goedkoper geworden door parameter-efficiënte methoden. Het LoRA-paper van Hu et al. (Microsoft Research, juni 2021) introduceerde low-rank adaptatie die het aantal trainbare parameters met een factor 10.000 kan reduceren ten opzichte van full fine-tuning van GPT-3 175B, met 3× lagere GPU-geheugenvraag en prestatieparity op benchmarks. De open-source-implementatie staat in Hugging Face's PEFT-library, die LoRA, QLoRA, prefix tuning en adapter methods ondersteunt. Voor commerciële modellen biedt OpenAI fine-tuning als managed service met supervised fine-tuning (SFT), direct preference optimization (DPO) en reinforcement fine-tuning (RFT) voor de o-serie.

Het fundamentele verschil — en het eerste criterium bij de keuze — is waar de kennis leeft. Bij RAG leeft uw kennis in een externe vector-database (Pinecone, Weaviate, pgvector, Qdrant). Een document bijwerken betekent: embedding her-indexeren, upsert naar de database, klaar — het model is direct op de hoogte. Bij fine-tuning leeft de kennis in de modelgewichten zelf. Kennis toevoegen betekent: dataset uitbreiden, opnieuw trainen, nieuwe modelversie valideren, uitrollen. Voor bedrijfsdata die wekelijks of dagelijks muteert (klantenservice-KB, productcatalogus, juridische updates, kenniswerk-dossiers) is dat laatste onwerkbaar. Lewis et al. noemden "updating world knowledge" expliciet als open-probleem voor pure parametrische modellen — RAG werd deels ontworpen om dat probleem op te lossen.

De tweede dimensie is kostenstructuur. RAG's kosten zijn voornamelijk infrastructureel: vector-database, embedding-API-calls en een grotere context-window per inference-request. Pinecone's Standard-tier start op $50/maand minimum met $0,33/GB/maand opslag en $16-$18 per miljoen read units. Enterprise-tier begint bij $500/maand met 99,95% uptime SLA. Weaviate Cloud Flex start rond $45/maand pay-as-you-go met prijs per miljoen vector-dimensions ($0,0139 op Flex, $0,00975 op Premium). Zelf hosten via open-source Weaviate of pgvector is gratis in licentie; u betaalt alleen infra. Fine-tuning heeft juist een hoge eenmalige kostenpost (trainingscompute + data-engineering) en daarna een kleine inference-premium per 1M tokens voor het aangepaste model. Voor commerciële fine-tuning — OpenAI, Google, Anthropic bieden managed fine-tuning via hun platforms — ligt de trainingskosten typisch in de orde van enkele honderden tot enkele duizenden dollars voor een middelgrote dataset; voor open-source modellen met LoRA/QLoRA op eigen GPU's blijven rekenkosten vaak onder €500 per trainingsrun voor een 7B-13B model.

De derde dimensie is latency. Een RAG-query heeft twee stappen: retrieval (embedding van de query + vector-search + re-ranking) en generation (LLM-aanroep met opgehaalde context). Moderne vector-databases leveren p95-retrieval-latency onder 100 ms, maar de LLM-call op een grotere context-window (vaak 8-32k extra tokens) tikt wel door op zowel tijd als kosten. Anthropic's prompt caching maakt dit economisch haalbaar: cache-read-tokens kosten 0,1× de base input price, cache-writes 1,25× (voor 5-minuten-TTL) of 2× (voor 1-uur-TTL). Voor een RAG-architectuur met een grote, relatief stabiele system-prompt of document-corpus betekent dit tot 90% lagere tokenkosten en aanzienlijk snellere time-to-first-token bij herhaalde queries op hetzelfde document. Minimum cache-grootte verschilt per Claude-model: Sonnet 4.5 cachet vanaf 1.024 tokens, Opus 4.7 vanaf 4.096. Fine-tuned modellen hebben die caching-stap niet nodig omdat de kennis al in de gewichten zit — één model-aanroep volstaat, latency daalt.

De vierde dimensie is traceerbaarheid en compliance. RAG heeft een ingebouwd auditing-voordeel: elk antwoord is te herleiden tot de source-chunks die door de retriever zijn opgehaald. Voor sectoren onder toezicht van AFM, NZa of AP is dit een controleerbaar artefact bij een audit of klachtenprocedure. Fine-tuned modellen zijn opaque: kennis zit verweven in miljarden parameters en de "waarom"-vraag bij een specifiek antwoord is praktisch niet te reconstrueren. Voor GDPR-recht-op-vergetelheid is RAG triviaal (document verwijderen uit de index) versus fine-tuning waar u het model opnieuw moet trainen zonder die data — machine unlearning is een actief onderzoeksgebied, geen productie-klare oplossing.

De vijfde dimensie is wat elk technologie unique goed doet. Fine-tuning wint onbetwistbaar op drie scenario's: (1) consistente schrijfstijl en tone-of-voice — het model leert letterlijk uw jargon, afkortingen en zinsconstructies op een manier die met system-prompts en few-shot examples lastig te reproduceren is; (2) gespecialiseerde classificatie- en extractietaken waar u duizenden gelabelde voorbeelden hebt en precision boven de 95% wilt zonder grote context-overhead; (3) latency-kritische applicaties waar elke extra retrieval-roundtrip een bottleneck is (voice-assistants, real-time interfaces). RAG wint op: actuele kennis, grote corpora (miljoenen documenten passen niet in een fine-tuning-dataset), factuele QA met bronverwijzing, multi-tenant waar elke klant z'n eigen kennisbank heeft en waar you fine-tuning per tenant onbetaalbaar maakt.

De zesde dimensie — en in de praktijk doorslaggevend — is hybride-haalbaarheid. Moderne AI-teams combineren beide: een licht gefine-tunede base (LoRA-adapter van een paar honderd voorbeelden voor stijl en terminologie) plus een RAG-layer voor actuele feiten. LlamaIndex ondersteunt expliciet deze gelaagdheid met 70+ vector-store integraties en patroon-varianten: naïeve RAG (single-shot retrieval), advanced RAG (re-ranking, query-rewriting, hybrid search) en agentic RAG (meerdere retrieval-stappen per query, tool-use, self-correction). Google's Vertex AI RAG Engine is als managed service GA in europe-west3 (Frankfurt) en europe-west4 (Eemshaven) — interessant voor NL-klanten die data-residency vereisen binnen de EU.

In deze vergelijking zetten we RAG en fine-tuning naast elkaar op de aspecten die voor zakelijke AI-implementaties concreet meetbaar zijn: kosten per query, latency, update-cyclus, compliance-voetafdruk en inzetbaarheid per use-case. De verdict is bewust depends — er is geen universele winnaar, er zijn wel heldere beslisregels. Voor een breder strategisch beeld raden we aan deze pagina samen te lezen met AI veilig inzetten — complete gids en AI assistent voor bedrijven — complete gids.

Opgesteld met AI-tools en gecontroleerd door het redactieteam van CleverTech — tech-leads met ervaring in AI, procesautomatisering en IT-consulting.