Warum AI-Kosten ein Architekturthema sind

Vom Prototyp zum Betrieb verändert sich die Rechnung

Ein Team testet einen AI-Assistenten. Eine Frage, ein Modellaufruf, eine brauchbare Antwort: Der Nutzen ist schnell sichtbar. Im späteren Betrieb muss derselbe Assistent Dokumente finden, Zugriffsrechte berücksichtigen, Antworten prüfen und unklare Fälle weitergeben. Dazu kommen wiederholte Versuche, längere Gesprächsverläufe und mehr Nutzer.

Der Preis eines einzelnen Modellaufrufs erklärt dann nur einen Ausschnitt. Für die Planung zählt der gesamte Ablauf: Wie häufig wird er ausgeführt? Wie viele Schritte benötigt er? Und wie viel Nacharbeit entsteht?

Auch McKinsey beschreibt AI-Kostensteuerung als gemeinsame Aufgabe von Nachfrageplanung, Architektur und Governance. Aus unserer Sicht folgt daraus eine klare Konsequenz: Wirtschaftlichkeit gehört bereits in die Konzeption einer AI-Anwendung.

AI-FinOps verbindet Verbrauch, Verantwortung und Nutzen

AI-FinOps überträgt die Zusammenarbeit von Engineering, Finance und Fachbereichen auf den wirtschaftlichen Betrieb von AI. Teams ordnen Ausgaben einem Use Case zu, planen den Verbrauch und prüfen, welchen fachlichen Wert die Ergebnisse schaffen. Die FinOps Foundation beschreibt dafür unter anderem Kostenzuordnung, Prognosen, Optimierung und Governance.

Im Alltag braucht es dazu Antworten auf drei Fragen: Wer verantwortet den Use Case? Welche Qualität muss er liefern? Welcher Aufwand ist für dieses Ergebnis angemessen?

Die Zuordnung sollte bis in die Anwendung reichen. Ein gemeinsames AI-Budget lässt sich besser steuern, wenn sichtbar wird, welche Produkte und Workflows es verbrauchen. Mit dieser Transparenz können Fachbereich, Plattformteam und Finance gemeinsam über Ausbau und Verbesserungen entscheiden.

Die relevante Einheit ist ein brauchbares Ergebnis

Tokenverbrauch hilft, technische Kostentreiber zu erkennen. Für eine Geschäftsentscheidung braucht diese Zahl einen fachlichen Bezug: etwa Kosten pro geprüftem Dokument, beantworteter Serviceanfrage oder erfolgreich abgeschlossenem Vorgang. Diesen Zusammenhang zwischen Technologieausgaben und Leistung beschreibt die FinOps Foundation unter Unit Economics.

Kosten pro akzeptiertem Ergebnis = zugerechnete Betriebs- und Bearbeitungskosten ÷ fachlich akzeptierte Ergebnisse.

Die Qualitätskriterien müssen vor dem Vergleich feststehen. Was gilt als korrekt, vollständig und verwendbar? In den Zähler gehören auch die Kosten erfolgloser Versuche. Suche, Infrastruktur, Prüfungen und menschliche Nacharbeit werden ebenfalls berücksichtigt. Gemeinsam genutzte Plattformkosten brauchen eine nachvollziehbare Zuordnung.

So lässt sich erkennen, ob ein günstigerer Modellaufruf tatsächlich wirtschaftlicher ist oder ob zusätzliche Fehler und Nacharbeit den Vorteil aufzehren.

Vier Architekturentscheidungen mit direktem Einfluss

1. Modelle nach Aufgabe auswählen

Eine einfache Klassifikation und die Analyse widersprüchlicher Dokumente haben unterschiedliche Anforderungen. Ein Routing kann Aufgaben passenden Modellen zuweisen und schwierige Fälle gezielt eskalieren. Ob sich das lohnt, zeigt ein Vergleich mit repräsentativen Testfällen: Qualität, Laufzeit und Kosten werden gemeinsam bewertet.

2. Kontext gezielt bereitstellen und Ergebnisse wiederverwenden

Ein Assistent sollte die Informationen erhalten, die für seine Aufgabe relevant sind. Welche Dokumente und Textstellen das sind, ist eine Entscheidung über Datenzugriff und Retrieval. Stabile Inhalte oder geeignete Zwischenergebnisse können wiederverwendet werden.

Beim Caching zählen Aktualität und Berechtigungen: Eine gespeicherte Antwort muss zur Datenversion und zum Zugriffskontext des aktuellen Nutzers passen. Microsoft nennt dafür unter anderem passende Cache-Schlüssel, Ablaufzeiten und Regeln zur Aktualisierung. Wiederverwendung braucht dieselbe Sorgfalt wie ein neuer Datenabruf.

3. Automatisierte Abläufe begrenzen

Agentische Workflows brauchen definierte Grenzen für Wiederholungen, Tool-Aufrufe, Laufzeit und parallele Ausführungen. Wenn eine Grenze erreicht ist, muss der nächste Schritt feststehen: abbrechen, später fortsetzen oder einen Menschen einbeziehen. Ein Budgetalarm allein legt dieses Verhalten noch nicht fest.

4. Kosten im Workflow sichtbar machen

Eine durchgängige Workflow-ID hilft, Modellaufrufe, Datenabrufe und Wiederholungen einem Vorgang zuzuordnen. Zusammen mit Use Case, Modell und zuständigem Team entsteht eine Grundlage für Kostenberichte. Die AWS-Designprinzipien für agentische AI verbinden Verbrauchsgrenzen und Kostenzuordnung mit einer laufenden Rückkopplung in die Architektur.

Ein Rechenbeispiel: der interne Wissensassistent

Ein interner Assistent beantwortet monatlich 10.000 Fragen zu Unternehmensrichtlinien. In einer ersten Variante nutzt jede Anfrage denselben umfangreichen Kontext und dasselbe Modell. Eine zweite Variante sucht passende Textstellen, nutzt Modell-Routing und verwendet geeignete Ergebnisse erneut.

Die folgenden Zahlen sind frei gewählte Rechenannahmen. Sie sind keine Anbieterpreise und keine Ergebnisse eines Hanlea-Kundenprojekts. Für beide Varianten nehmen wir dieselbe fachliche Akzeptanzquote und denselben Aufwand für Prüfung und Nacharbeit an.

Bei Bedarf lässt sich die Tabelle seitlich scrollen.

Technischer Betrieb umfasst hier Modellnutzung, Suche und zugerechnete Infrastruktur. Für Prüfung und Nacharbeit sind jeweils 20 Stunden zu kalkulatorisch 60 € angesetzt. Einmalige Entwicklungs- und Einführungskosten sind im Vergleich nicht enthalten.

Unter diesen Annahmen sinken die laufenden Gesamtkosten um 400 € im Monat. Wie viel zusätzliche Entwicklung dieser Vorteil rechtfertigt, hängt vom Nutzungszeitraum ab. Für eine Investitionsentscheidung müssen deshalb auch Einführung, Pflege und mögliche Änderungen an den Modellen in die Rechnung eingehen.

In einem echten Vergleich sind Akzeptanzquote und Nacharbeit Messgrößen. Verschlechtert sich die Qualität, wird der technische Vorteil möglicherweise kleiner oder verschwindet ganz. Genau deshalb gehören Qualitätsbewertung und Kostenmessung in denselben Test.

So gelingt der Einstieg

Ein klar abgegrenzter Use Case reicht aus, um die ersten Entscheidungen auf eine belastbare Grundlage zu stellen. Für den Einstieg empfehlen wir vier Schritte:

1. Erfolg und Verantwortung festlegen. Definieren Sie das gewünschte Ergebnis, Qualitätskriterien und einen Verantwortlichen aus dem Fachbereich.
2. Den gesamten Ablauf messen. Erfassen Sie Modellnutzung, Datenabrufe, Wiederholungen, Laufzeit und Nacharbeit pro Vorgang.
3. Varianten kontrolliert vergleichen. Prüfen Sie Modellwahl, Kontext und Wiederverwendung anhand derselben fachlichen Testfälle.
4. Im Betrieb regelmäßig entscheiden. Bewerten Sie Verbrauch, Ergebnisqualität und Nutzen gemeinsam. Passen Sie Routing, Grenzen und Budgets an, wenn sich das Nutzungsmuster verändert.

Unsere Perspektive: Wirtschaftlichkeit mitbauen

Bei Hanlea betrachten wir AI-FinOps im Zusammenspiel aus Data & AI Strategy, Plattformarchitektur, Governance, BI/Analytics und LLMOps. Welche Use Cases schaffen Wert? Wie werden Daten und Modelle eingebunden? Wie lassen sich Qualität, Verbrauch und Kosten im Betrieb steuern?

Aus diesen Fragen entstehen technische Entscheidungen und klare Verantwortlichkeiten. So wird aus einem funktionierenden Prototyp eine Anwendung, deren Nutzen und Aufwand sich nachvollziehbar bewerten lassen.