AI zelf draaien of inkopen: de afweging

Een klant wilde alles in eigen huis. Geen data naar Amerika, geen afhankelijkheid, geen verrassingen op de factuur.

Wij hebben het uitgerekend. Voor zijn volume was inkopen zeven keer goedkoper.

In dit artikel lees je hoe die rekensom werkt, waar het omslagpunt ligt, en welke redenen wél gelden om het zelf te doen.

Wat inkopen kost#

Je betaalt per verwerkt stukje tekst. Geen vaste lasten, geen beheer, en je schaalt automatisch mee.

Voor een chatbot met duizend gesprekken per maand praat je over een bedrag in de tientallen euro's, niet honderden. Mits je per taak het juiste model kiest.

Wat zelf draaien kost#

Hier zit de verrassing. De rekening is niet het model maar de machine eronder.

Hardware. Een server met een geschikte videokaart begint rond de paar honderd euro per maand bij een hoster.
Die kosten lopen door. Ook 's nachts, ook als er niemand iets vraagt.
Beheer. Updates, monitoring, opschalen bij drukte. Reken op uren per maand.
Kwaliteitsverschil. Modellen die je zelf kunt draaien zijn goed, maar meestal een klasse onder de beste ingekochte.

Het omslagpunt#

Grofweg: onder de honderdduizend verwerkte fragmenten per maand is inkopen goedkoper. Daarboven begint zelf draaien interessant te worden.

Voor een gemiddelde bedrijfswebsite haal je dat volume niet. Voor een platform met veel gebruikers wel.

De redenen die wél gelden#

Kosten zijn zelden de goede reden. Deze drie zijn dat wel.

Data die niet weg mag

Patiëntgegevens, dossiers, alles onder een streng regime. Dan is de vraag niet wat het kost maar of het mag.

Voorspelbaarheid

Een ingekocht model kan van de ene op de andere dag veranderen of verdwijnen. Draai je het zelf, dan bepaal jij wanneer je overstapt.

Volume dat je kunt plannen

Verwerk je elke nacht een vaste batch documenten, dan gebruik je je hardware efficiënt. Dat is een heel ander patroon dan een chatbot die overdag piekt.

De tussenweg die de meesten vergeten#

Je hoeft niet te kiezen. Wij zetten regelmatig een mix op.

Het omzetten naar embeddings gebeurt lokaal, want dat is licht werk en het betreft je hele content. Het formuleren van antwoorden gaat naar een ingekocht model, want daar telt kwaliteit.

Wat je vooraf moet weten#

Hoeveel vragen per maand verwacht je? Zonder dat cijfer is elke vergelijking giswerk.
Wat is het piekmoment? Zelf draaien betekent capaciteit voor de piek betalen.
Wie beheert het over twee jaar? Dat is meestal de doorslaggevende vraag.

Volgende stappen#

Begin altijd met inkopen. Meet drie maanden. Pas dan weet je of zelf draaien loont.
Zet de modelnaam in je configuratie, niet in je code. Dan is overstappen later een instelling.
Zie hosting voor hoe wij infrastructuur inrichten.

Verder lezen: Wat een AI-koppeling kost om te draaien.