Warum 95 % der KI-Pilotprojekte keine Wirkung zeigen

Die Zahl klingt wie ein Urteil über Künstliche Intelligenz: 95 % der KI-Pilotprojekte zeigen keine messbare Wirkung in der Gewinn- und Verlustrechnung. Sie stammt aus dem 2025 veröffentlichten Bericht „The GenAI Divide: State of AI in Business“ des MIT-NANDA-Projekts. Gemeint sind untersuchte Generative-AI-Initiativen in Unternehmen, von denen nur ein kleiner Teil rasch messbaren wirtschaftlichen Wert erreichte.

Die verkürzte Schlussfolgerung lautet oft: Die Modelle sind noch nicht gut genug. Doch genau das greift zu kurz. Moderne Modelle können bereits erstaunlich viel. Was in Unternehmen fehlt, ist meist die Verbindung zwischen Modell, Fachwissen, bestehenden Systemen, Arbeitsabläufen und wirtschaftlicher Verantwortung.

Ein KI-Pilotprojekt beweist, dass etwas technisch möglich ist. Ein produktives KI-System muss dagegen jeden Tag zuverlässig Wert schaffen.

Das Pilotprojekt optimiert die Demo, der Betrieb das Ergebnis

In einem Pilotprojekt sind die Bedingungen kontrolliert. Das Team wählt geeignete Beispiele aus, korrigiert Eingaben und erklärt das Ergebnis. Fehler sind Lernmaterial. Die Kosten laufen häufig über ein Innovationsbudget, während ein überzeugender Prototyp bereits als Erfolg gilt.

Im Betrieb gelten andere Regeln:

• Eingaben sind unvollständig, widersprüchlich oder anders formuliert als erwartet.
• Daten liegen in mehreren Systemen und haben unterschiedliche Bedeutungen.
• Mitarbeiter müssen ihre tatsächlichen Abläufe verändern.
• Fehler verursachen Rückfragen, Nacharbeit, Haftungsrisiken oder unzufriedene Kunden.
• Qualität, Kosten und Nutzen müssen dauerhaft gemessen werden.

Genau an dieser Grenze bleiben viele Projekte stehen. Nach der gelungenen Vorführung fehlt niemandem eine weitere Modell-Demo. Es fehlen Menschen, die den gesamten Weg vom Geschäftsproblem bis zum stabilen Betrieb verantworten.

Vier Funktionen, die aus KI wirtschaftliche Wirkung machen

Die folgenden Bezeichnungen sind teilweise neu. Die Aufgaben dahinter sind es nicht. Sie verbinden Produktverantwortung, Prozesswissen, Softwareentwicklung, Datenmodellierung und Qualitätssicherung zu einem gemeinsamen Betriebsmodell.

1. AI Operations Lead: verantwortlich für das Geschäftsergebnis

Der AI Operations Lead besitzt nicht das Modell, sondern das Ergebnis. Diese Person definiert gemeinsam mit dem Fachbereich, welcher Prozess verbessert werden soll und woran Erfolg erkennbar ist.

Statt „Wir bauen einen Assistenten für den Kundenservice“ lautet das Ziel zum Beispiel:

• 30 % weniger manuelle Nachbearbeitung,
• kürzere Zeit bis zur Lösung eines Anliegens,
• geringere Kosten pro abgeschlossenem Vorgang,
• keine Verschlechterung bei Beschwerden oder Compliance.

Der AI Operations Lead koordiniert Fachbereich, IT, Datenschutz, Sicherheit und Management. Er sorgt für Schulung, klare Eskalationswege und eine laufende Betriebsroutine. Wenn Mitarbeiter das System umgehen, die Einsparung nur auf dem Papier existiert oder ein Prozess an anderer Stelle mehr Aufwand erzeugt, fällt das in seine Verantwortung.

Diese Rolle verhindert, dass ein Pilotprojekt als isoliertes IT-Projekt endet.

2. Forward-Deployed Engineer: baut dort, wo die Arbeit passiert

Ein Forward-Deployed Engineer arbeitet nicht monatelang nach einer abstrakten Spezifikation. Er geht in den Fachbereich, beobachtet den realen Ablauf und entwickelt gemeinsam mit den Anwendern. Der Begriff wurde unter anderem durch Palantir geprägt. Heute beschreibt auch OpenAI damit Ingenieure, die Discovery, technische Planung, Systemdesign und Einführung in die Produktion durchgängig verantworten.

Diese Nähe ist entscheidend. Die wichtigsten Anforderungen stehen selten vollständig im Lastenheft. Sie zeigen sich in Ausnahmen, Nebenabsprachen, alten Schnittstellen und den kleinen Handgriffen erfahrener Mitarbeiter.

Der Forward-Deployed Engineer:

• verbindet das KI-System mit CRM, ERP, Dokumentenablage und Kommunikation,
• baut Freigaben, Rückfragen und sichere Abbruchpunkte ein,
• löst Probleme direkt mit den späteren Anwendern,
• überführt lokale Sonderlösungen in wiederverwendbare Komponenten,
• begleitet die Einführung bis zu stabiler Nutzung und messbarer Wirkung.

Sein Erfolg wird nicht an einer schönen Architektur gemessen, sondern daran, ob das System im echten Arbeitsalltag funktioniert.

3. Semantic Modeler: übersetzt Unternehmenswissen in eindeutige Bedeutung

Ein Sprachmodell versteht Sprache, aber nicht automatisch die interne Bedeutung Ihrer Daten. Was ist ein „aktiver Kunde“? Wann gilt ein Auftrag als abgeschlossen? Welche Vertragsversion ist gültig? Darf ein Interessent bereits einen Servicetermin buchen? Solche Begriffe sind in Unternehmen oft über Köpfe, Tabellen, Handbücher und Software verteilt.

Der Semantic Modeler macht dieses Wissen explizit. Er definiert:

• zentrale Begriffe, Objekte und Beziehungen,
• verbindliche Kennzahlen und Berechnungsregeln,
• Status, Zuständigkeiten und Geschäftsregeln,
• erlaubte Datenquellen und deren Priorität,
• den Kontext, den ein KI-System für eine Entscheidung benötigt.

Damit entsteht eine semantische Schicht zwischen Rohdaten und KI. Sie sorgt dafür, dass Menschen, Berichte und Agenten unter „Umsatz“, „Kunde“ oder „Störfall“ dasselbe verstehen. Solche zentral definierten Begriffe und Kennzahlen sind auch das Grundprinzip moderner Semantic Layers. Ohne diese Arbeit produziert selbst ein sehr gutes Modell plausible Antworten auf uneindeutige Grundlagen.

4. Evals Engineer: macht Qualität messbar

Klassische Software liefert bei gleicher Eingabe normalerweise dasselbe Ergebnis. Generative KI ist variabel. Ein Test mit zehn sorgfältig ausgewählten Beispielen sagt daher wenig über den Betrieb aus.

Der Evals Engineer baut ein laufendes Qualitätssystem. Dazu gehören reale und schwierige Testfälle, erwartete Ergebnisse, automatische und menschliche Bewertungen sowie klare Grenzwerte für die Freigabe. Er prüft nicht nur, ob eine Antwort freundlich klingt, sondern ob der gesamte Vorgang korrekt ausgeführt wird.

Wichtige Fragen sind:

• Wurde die richtige Information aus der richtigen Quelle verwendet?
• Erkennt das System, wann es nicht sicher entscheiden kann?
• Funktionieren Berechtigungen und Eskalationen?
• Bleibt die Qualität nach Modell-, Prompt- oder Datenänderungen stabil?
• Wie verhalten sich Fehlerquote, Laufzeit und Kosten im Betrieb?

Evals machen aus subjektiven Eindrücken eine belastbare Qualitätssteuerung. Sie sind die Voraussetzung dafür, Modelle oder Prozesse zu ändern, ohne unbemerkt bereits funktionierende Fälle zu verschlechtern.

Es braucht nicht zwingend vier neue Vollzeitstellen

Gerade für KMU wäre es unrealistisch, für jede Funktion sofort eine eigene Position zu schaffen. Entscheidend ist, dass alle vier Verantwortlichkeiten eindeutig besetzt sind.

Ein AI Operations Lead kann aus dem Prozessmanagement oder der Geschäftsführung kommen. Ein erfahrener Softwarearchitekt kann die Forward-Deployed-Funktion übernehmen. Datenmodellierung und Evaluation lassen sich intern aufbauen oder mit einem spezialisierten Partner abdecken. Bei kleineren Vorhaben kann ein interdisziplinäres Team mehrere Rollen bündeln.

Was nicht funktioniert, ist die stillschweigende Annahme, der Softwareanbieter oder das Modell werde diese Aufgaben nebenbei lösen.

Ein pragmatischer Weg vom Pilotprojekt zur Gewinnwirkung

Bevor Sie das nächste KI-Pilotprojekt starten, beantworten Sie fünf Fragen:

1. Welcher betriebliche Engpass soll sich verändern? Nicht welches Tool soll eingeführt werden.
2. Welche Kennzahl muss sich in welchem Zeitraum bewegen? Legen Sie Ausgangswert, Ziel und Messmethode vor dem Start fest.
3. Wer besitzt den Prozess nach dem Go-live? Diese Person braucht Zeit, Budget und Entscheidungskompetenz.
4. Welches Unternehmenswissen muss formalisiert werden? Begriffe, Regeln, Ausnahmen und Datenquellen gehören in ein gemeinsames Modell.
5. Welche Tests entscheiden über Freigabe und Ausbau? Gute Einzelbeispiele reichen nicht.

Beginnen Sie mit einem klar begrenzten Prozess, aber planen Sie von Anfang an für den Betrieb. Beobachten Sie nicht nur die Modellqualität, sondern auch Nutzung, Durchlaufzeit, Nacharbeit, Fehlerkosten und Kundenergebnis. Erst wenn diese Werte stimmen, wird skaliert.

Fazit

Die 95-%-Zahl ist kein Beweis, dass KI wirtschaftlich nicht funktioniert. Sie zeigt, dass Unternehmen eine neue Technologie häufig mit einem alten Projektverständnis einführen: Tool auswählen, Pilotprojekt umsetzen, Demo zeigen und auf automatische Produktivität hoffen.

Wirtschaftliche Wirkung entsteht erst, wenn Menschen Prozesse neu gestalten, Systeme integrieren, Bedeutung eindeutig machen und Qualität kontinuierlich messen. AI Operations Leads, Forward-Deployed Engineers, Semantic Modeler und Evals Engineers sind deshalb keine exotischen Zusätze. Sie bilden die fehlende operative Schicht zwischen einem leistungsfähigen Modell und einer besseren Gewinn- und Verlustrechnung.

AppTrade unterstützt Unternehmen dabei, diese Funktionen passend zur eigenen Größe aufzubauen und KI-Vorhaben vom Anwendungsfall bis zum verlässlichen Betrieb zu führen.