Private AI-Kosten: Messen Sie die akzeptierte Aufgabe, nicht nur das Token

MLPerf trennt Inferenz-Workloads nach Testbedingungen und Qualitätsanforderungen.[1] Eine Kaufentscheidung für private AI erfordert dieselbe Disziplin: Definieren Sie, was als nützliche Arbeit zählt, bevor Sie Kosten vergleichen. Unsere Position ist, dass die Kosten pro akzeptierter Aufgabe ein besseres Pilotmaß sind als ein reiner Tokenpreis.

Die Messung ist einfach. Addieren Sie die dem Piloten zugeordneten Kosten, einschließlich Überprüfung und Korrektur, und teilen Sie diese durch die Anzahl der Ausgaben, die die vereinbarte Abnahmeprüfung bestehen. Dies ist eine vorgeschlagene Bewertungsmethode, keine Aussage über bereits von Software Tailor-Kunden erzielte Einsparungen.

Benennen Sie den abgeschlossenen Auftrag

Eine Dokumentenzusammenfassung ist nicht einfach fertig, nur weil ein Modell Absätze erzeugt hat. Das Pilotteam könnte verlangen, dass die Zusammenfassung die Entscheidung identifiziert, jede Frist einhält und einen Weg zurück zu den relevanten Quellpassagen bietet. Eine Ausgabe, die die Frist verfehlt, muss vor der Akzeptanz korrigiert werden.

Formulieren Sie diese Bedingungen vor dem Test. Verwenden Sie eine kleine Sammlung erlaubter Dokumente mit unterschiedlichen Längen und Layouts. Fügen Sie ein schwieriges Beispiel hinzu: eine gescannte Seite, ein widersprüchliches Datum oder eine Tabelle, deren Bedeutung von einer Fußnote abhängt. Verwenden Sie für jede Kandidatenkonfiguration denselben Eingabesatz, damit Änderungen in der Arbeit nicht als Verbesserungen des Modells erscheinen.

Unser AI PDF Reader ist ein möglicher Ausgangspunkt für einen Dokumenten-Workflow. Die Bewertung sollte dennoch die tatsächliche Quelle und die Antwort gemeinsam beurteilen. Das Vorhandensein einer Zitation ist für die Überprüfung nützlich; ihre Existenz ist jedoch nicht die Akzeptanzentscheidung.

Erfassen Sie abgelehnte Ausgaben ebenso wie akzeptierte. Andernfalls beschreibt der Bericht nur die besten Fälle, während das Team für die gesamte Warteschlange zahlt.

Setzen Sie den Betriebsaufwand in den Zähler

Bei einer lokalen Bereitstellung weisen Sie einen Anteil der Gerätekosten über einen festgelegten Bewertungszeitraum zu. Fügen Sie gemessenen Stromverbrauch hinzu, wenn er relevant ist, Softwaregebühren, die für die gewählte Konfiguration anfallen, sowie die für Einrichtung oder Wartung des Dienstes aufgewendete Zeit. Geben Sie die Annahmen neben dem Ergebnis an. Ein vorhandener Arbeitsplatzrechner mit freier Kapazität und ein neu angeschaffter dedizierter Server sind unterschiedliche Einkaufssituationen.

Bei einem gehosteten Modell erfassen Sie die Gebühren für die tatsächlichen Anfragen des Piloten, einschließlich Wiederholungen. Zählen Sie auch dieselbe Überprüfungs- und Integrationsarbeit wie im lokalen Fall. Die Anwendung eines vollständigen Kostenmodells auf eine Route und eines engen Modells auf die andere führt zu einem Vergleich, der keine Entscheidungsgrundlage bietet.

Die Überprüfungszeit benötigt eine explizite Bewertung. Es ist sinnvoll, sowohl die verstrichenen Minuten als auch geschätzte Arbeitskosten anzugeben, sofern die Schätzung gekennzeichnet ist. Stellen Sie die von einem Mitarbeiter eingesparten Minuten nicht als Geldersparnis dar, es sei denn, die Organisation hat eine glaubwürdige Möglichkeit, diese tatsächlich zu realisieren. Eine kürzere Aufgabe kann wertvoll sein, auch wenn sich die Lohnkosten nicht ändern.

Halten Sie außergewöhnliche Einrichtungsarbeiten getrennt von wiederkehrenden Betriebsvorgängen. Das Team kann dann erkennen, ob eine enttäuschende erste Woche auf Installationsaufwand oder ein anhaltendes Problem im Workflow zurückzuführen ist.

Messen Sie die eingesetzte Konfiguration

Das Modellkartenformat von Hugging Face unterstützt Informationen über den vorgesehenen Einsatz, Einschränkungen und Bewertungen.[2] Betrachten Sie diese Dokumentation als Beginn des Kandidatenprotokolls. Fügen Sie die genaue verwendete Modellrevision, die lokale Datei oder Variante, die Laufzeitversion und die Maschine, die den Test durchgeführt hat, hinzu. Ein Modellname allein reicht nicht aus, um eine Kaufbewertung zu reproduzieren.

Das gleiche Prinzip gilt für Leistungsnachweise. MLCommons beschreibt Benchmark-Ergebnisse in Bezug auf das eingereichte System und die Software und unterscheidet Vergleichsbereiche.[1] Ein veröffentlichter Benchmark kann helfen, eine Fragestellung einzugrenzen. Er liefert kein gemessenes Ergebnis für einen ungetesteten Büro-Workflow.

Testen Sie einen Kaltstart und einen bereits laufenden Dienst separat. Erfassen Sie die Zeit bis zu einer nützlichen Antwort sowie die Abschlusszeit. Wenn zwei Personen das System gemeinsam nutzen, testen Sie diesen Zustand, anstatt von einer einzelnen Anfrage zu extrapolieren. Dies sind Pilot-Designentscheidungen, keine Behauptungen, dass jede Bereitstellung denselben Engpass hat.

Die Produktseite von AI Server beschreibt den Serverpfad für gemeinsame Inferenz. Verwenden Sie diesen Pfad, wenn ein gemeinsamer Dienst zur vorgeschlagenen Aufgabe passt; fügen Sie keinen Server hinzu, nur um den Pilotversuch einer zukünftigen organisationsweiten Bereitstellung ähnlicher zu machen.

Melden Sie eine überprüfbare Entscheidung

Der endgültige Bericht sollte den Eingabesatz, die Akzeptanzregeln, die Anzahl der akzeptierten Aufgaben, die Überprüfungszeit und Kostenannahmen zeigen. Fügen Sie den folgenschwersten Fehler mit entsprechend geschwärztem Quellmaterial bei. Ein Prüfer sollte nachvollziehen können, warum das Team eine Konfiguration bevorzugte, ohne sich auf die Begeisterung des Autors zu stützen.

Wenn die Qualität inakzeptabel ist, rettet ein günstiges Ergebnis sie nicht. Wenn die Qualität akzeptabel, aber der Betriebsaufwand zu hoch ist, verengen Sie den Workflow oder ändern Sie die Konfiguration und führen Sie denselben Test erneut durch. Unser Begleitartikel zu Nachweisen für private KI in kritischer Infrastruktur wendet diese Vorgehensweise auf eine andere Entscheidungsgrenze an.

Beginnen Sie mit einer Aufgabe aus dem Produktkatalog von Software Tailor, definieren Sie deren Akzeptanzprüfung und halten Sie das erste Kostenblatt klein genug, um es zu prüfen. Die relevante Zahl ist die Kosten des nutzbaren Arbeitsaufwands.

Quellen

MLCommons. MLPerf Inference: Datacenter. Zugriff am 12.09.2026.
Hugging Face. Modellkarten. Zugriff am 12.09.2026.