Private AI-kosten: meet de geaccepteerde taak, niet alleen de token

MLPerf onderscheidt inference workloads op basis van testomstandigheden en kwaliteitsvereisten.[1] Een aankoopbeslissing voor private AI vereist dezelfde discipline: definieer wat telt als nuttig werk voordat je kosten vergelijkt. Onze visie is dat kosten per geaccepteerde taak een betere maatstaf voor pilots zijn dan alleen een tokenprijs.

De maatstaf is eenvoudig. Tel de kosten toegekend aan de pilot, inclusief beoordeling en correctie, en deel dit door het aantal outputs dat de afgesproken acceptatiecontrole doorstaat. Dit is een voorgestelde evaluatiemethode, geen bewering over besparingen die al door Software Tailor-klanten zijn gerealiseerd.

Noem de voltooide taak

Een documentoverzicht is niet af alleen omdat een model paragrafen heeft geproduceerd. Het pilotteam kan eisen dat de samenvatting de beslissing identificeert, elke deadline bewaart en een route terug naar de relevante bronpassages biedt. Een output die de deadline mist, moet worden gecorrigeerd voordat deze als geaccepteerd telt.

Stel die voorwaarden op vóór het testen. Gebruik een kleine verzameling toegestane documenten met verschillende lengtes en lay-outs. Neem een lastig voorbeeld op: een gescande pagina, een conflicterende datum of een tabel waarvan de betekenis afhangt van een voetnoot. Gebruik voor elke kandidaatconfiguratie dezelfde inputset zodat veranderingen in het werk niet als verbeteringen van het model worden gezien.

Onze AI PDF Reader is een mogelijke startpunt voor een documentworkflow. De evaluatie moet nog steeds de daadwerkelijke bron en het antwoord samen beoordelen. Het bestaan van een citaat is nuttig voor beoordeling; de aanwezigheid ervan is niet de acceptatiebeslissing.

Registreer zowel afgewezen als geaccepteerde outputs. Anders beschrijft het rapport alleen de beste gevallen terwijl het team betaalt voor de hele wachtrij.

Plaats operationele inspanning in de teller

Voor een lokale implementatie, verdeel een deel van de apparatuurkosten over een aangegeven evaluatieperiode. Voeg gemeten elektriciteit toe waar relevant, softwarekosten die van toepassing zijn op de gekozen configuratie, en de tijd besteed aan het opzetten of onderhouden van de dienst. Vermeld de aannames naast het resultaat. Een bestaande werkplek met vrije capaciteit en een nieuw aangeschafte dedicated server zijn verschillende inkoopsituaties.

Voor een gehost model, registreer de kosten voor de daadwerkelijke verzoeken van de pilot, inclusief herhalingen. Tel ook hetzelfde beoordelings- en integratiewerk mee als in het lokale geval. Het toepassen van een volledig kostenmodel op de ene route en een beperkt model op de andere levert een vergelijking op die geen besluitvorming ondersteunt.

Beoordelingstijd vereist een expliciete waardering. Het is redelijk om zowel verstreken minuten als een geschatte arbeidskost te rapporteren, mits de schatting wordt gelabeld. Presenteer de teruggewonnen minuten van een medewerker niet als geldbesparing tenzij de organisatie een geloofwaardige manier heeft om deze te realiseren. Een kortere taak kan waardevol zijn, ook als de loonlijst niet verandert.

Houd uitzonderlijk opzetwerk gescheiden van terugkerende operaties. Het team kan dan zien of een teleurstellende eerste week installatie-inspanning weerspiegelt of een aanhoudend probleem met de workflow.

Meet de geïmplementeerde configuratie

Het modelkaartformaat van Hugging Face ondersteunt informatie over het beoogde gebruik, beperkingen en evaluatie.[2] Beschouw die documentatie als het begin van het kandidatenrecord. Voeg de exacte modelrevisie toe die is gebruikt, het lokale bestand of de variant, de runtimeversie en de machine die de test heeft uitgevoerd. Alleen een modelnaam is onvoldoende om een aankoopbeoordeling te reproduceren.

Hetzelfde principe geldt voor prestatiebewijzen. MLCommons beschrijft benchmarkresultaten in relatie tot het ingediende systeem en de software, en onderscheidt vergelijkingscategorieën.[1] Een gepubliceerde benchmark kan helpen een vraag te kaderen. Het levert geen gemeten resultaat voor een niet-geteste kantoorworkflow.

Test een koude start en een reeds draaiende service afzonderlijk. Noteer de tijd tot een bruikbaar antwoord evenals de voltooiingstijd. Als twee personen het systeem samen zullen gebruiken, test die situatie dan in plaats van te extrapoleren vanuit een enkel verzoek. Dit zijn ontwerpkeuzes voor de pilot, geen beweringen dat elke implementatie dezelfde bottleneck heeft.

De AI Server-productpagina beschrijft de serverroute voor gedeelde inferentie. Gebruik die route wanneer een gedeelde service past bij de voorgestelde taak; voeg geen server toe alleen om de pilot te laten lijken op een toekomstige organisatiebrede implementatie.

Rapporteer een beslissing die gecontroleerd kan worden

Het definitieve record moet de invoerset, acceptatieregels, aantal geaccepteerde taken, beoordelingstijd en kostenaannames tonen. Voeg de meest ingrijpende fout toe met het bronmateriaal adequaat geanonimiseerd. Een beoordelaar moet kunnen begrijpen waarom het team de voorkeur gaf aan een bepaalde configuratie zonder te vertrouwen op het enthousiasme van de auteur.

Als de kwaliteit onacceptabel is, redt een goedkoop resultaat het niet. Als de kwaliteit acceptabel is maar de operationele inspanning te hoog is, versmal dan de workflow of wijzig de configuratie en voer dezelfde test opnieuw uit. Ons begeleidend artikel over bewijs voor private AI in kritieke infrastructuur past deze gewoonte toe op een andere beslissingsgrens.

Begin met één taak uit de Software Tailor-productcatalogus, definieer de acceptatiecontrole en houd het eerste kostenoverzicht klein genoeg om te auditen. Het nuttige getal is de kosten van werk dat gebruikt kan worden.

Referenties

MLCommons. MLPerf Inference: Datacenter. Geraadpleegd op 2026-09-12.
Hugging Face. Modelkaarten. Geraadpleegd op 2026-09-12.