RAG of fine-tuning: hoe krijg je je eigen kennis in een AI-model? (2026)

Voor je RAG en fine-tuning tegen elkaar afweegt, hoort de goedkoopste route eerst: niets bouwen.

• Systeemprompt. Je zet de kennis letterlijk in de instructie. Werkt voor een prijslijst, een stijlgids of een set regels van hooguit enkele tientallen pagina's.
• Lange context. Je geeft het hele document of dossier mee in één aanroep. Claude Sonnet 5 en Opus 5 rekenen tot 1 miljoen tokens het standaardtarief; welk model dat het best doet, staat op welk AI-model leest lange documenten het best.
• RAG. Een zoeklaag haalt per vraag de juiste passages op. Nodig zodra de kennisbank groter is dan wat je per vraag wilt meesturen, of vaak verandert.
• Fine-tuning. Je traint een model door op voorbeelden. Nodig als niet de kennis maar het gedrag moet veranderen: toon, structuur, een classificatie.

De volgorde is geen toeval: elke stap naar rechts kost meer bouwwerk en meer onderhoud. Wie bij lange context al klaar is, hoeft de rest van deze pagina niet.

Een vijfde route, live gegevens uit je systemen via een MCP-koppeling in plaats van documenten, valt buiten deze vergelijking; die staat op wat kost een MCP-server.

Onze eigen beslistabel, opgebouwd uit onze eigen projecten op eigen data, waaronder Bijbel Assistent. Per doel staat de route die wij als eerste proberen.

Twee patronen komen in vrijwel elk traject terug. Kennis hoort in RAG of in de prompt, gedrag hoort in de prompt en pas daarna in fine-tuning.

En de combinatie bestaat: een klein doorgetraind model voor de toon, met RAG voor de feiten. Bouw die pas als de prompt-variant aantoonbaar tekortschiet, want twee lagen betekent twee keer onderhoud.

Dit is de tabel die de keuze in 2026 het meest bepaalt. Alle regels zijn op 18 september 2026 van de leverancierspagina's afgelezen; dollarbedragen staan omgerekend naar euro tegen de referentiekoers die de ECB voor 18 september 2026 publiceerde, 1,1460 dollar per euro (ECB), exclusief btw.

De conclusie uit de tabel is ongemakkelijk voor wie fine-tuning met een topmodel in gedachten had. Het topmodel van OpenAI, Anthropic en Mistral kun je in september 2026 nergens doortrainen; alleen Google houdt een lijstprijs voor een klein Gemini-model.

Wie fine-tuning echt nodig heeft, komt dus uit bij Gemini Flash op Vertex of bij een open-weight model dat je zelf host. Welke open-weight modellen daarvoor in aanmerking komen en wat de EU-hosting kost, staat op open-source AI-modellen zakelijk draaien.

Voor Claude-first bouwers zoals wij is dit de eerlijke consequentie: onze RAG-laag draait op Claude, maar een fine-tuned classificatiemodel bouwen we op Gemini of open-weight, niet op Claude.

Dit is een rekenvoorbeeld op de lijstprijzen hierboven, geen klantmeting. Het scenario: een kennisbank van 2.000 documenten van gemiddeld 2.000 tokens (circa vijf pagina's), 5.000 vragen per maand, antwoorden in het Nederlands.

De RAG-aannames zijn dezelfde als op onze kostenpagina voor AI op eigen data: 6.000 input- en 400 outputtokens per vraag, Claude Sonnet 5 als antwoordmodel ($2 in, $10 uit per miljoen tokens, Anthropic pricing), embeddings via OpenAI text-embedding-3-small ($0,02 per miljoen, OpenAI pricing) en pgvector op een kleine VPS.

Voor fine-tuning nemen we aan dat je uit die documenten 5.000 prompt-antwoordparen van 1.500 tokens maakt en drie epochs traint: 22,5 miljoen trainingstokens per run, vier runs per jaar. Per vraag gaan er dan 500 tokens in en 400 uit, zonder opgehaalde passages.

Drie dingen vallen op. Fine-tuning op Gemini is per maand het goedkoopst, maar levert een model dat drie maanden achterloopt en geen bron noemt; voor een kennisbank is dat een verkeerde besparing.

De eigen H100 is pas verdedigbaar bij een volume dat twintig keer zo groot is, of bij een harde eis dat geen enkele token het eigen datacenter verlaat; die afweging staat op ChatGPT Enterprise tegenover private AI.

En bij alle drie is de bouw de grootste post, niet het model. Onderhoud komt daar bij: vanaf €750 per maand plus modelkosten voor een AI-applicatie (prijsband uit onze dienst AI-software laten maken); een RAG-laag rond één afgebakende bron start bij €7.500 in plaats van €12.500.

Ons eigen product Bijbel Assistent is de case waar we deze keuze hardop maakten: een Nederlandstalige assistent op een corpus van vier Bijbelvertalingen, commentaren en grondtaal-lemma's, waar een verkeerd toegeschreven citaat binnen een minuut opvalt.

We kozen RAG en niet fine-tuning, om precies de twee redenen uit de beslistabel. Een doorgetraind model kan niet zeggen wáár iets staat, en elke wijziging in het corpus zou een nieuwe trainingsronde vragen.

De zoeklaag is PostgreSQL met pgvector, zodat corpus, gebruikersdata en embeddings in één systeem met dezelfde back-ups zitten; de Claude API is de redeneerlaag die de opgehaalde passages omzet in een antwoord met vertaling en commentaar erbij.

Het zwaartepunt van het werk lag vóór het chatvenster: corpus opschonen en opdelen, embeddings actueel houden en controleren of de assistent de juiste passage ophaalt. De hele opbouw staat in de case over Bijbel Assistent.

Vier vragen, in deze volgorde, beslissen de route in de praktijk.

1. Past alles in één prompt? Zo ja: systeemprompt of lange context, en je bent klaar.
2. Moet het antwoord een bron noemen of verandert de kennis? Zo ja: RAG.
3. Gaat het om gedrag in plaats van kennis? Stijl, format, classificatie: eerst voorbeelden in de prompt, pas daarna fine-tuning.
4. Op welk model mag dat? Fine-tuning van een Claude-, GPT- of Mistral-topmodel is er niet; dan wordt het Gemini Flash op Vertex of open-weight.

Wil je dit voor je eigen documenten doorrekenen, bel dan 085 016 0118 of stuur een bericht via de contactpagina; we zeggen er ook bij wanneer een prompt volstaat en je niets hoeft te bouwen.