Warum „95 Prozent“ im Proof of Concept von IDP keine Aussagekraft besitzen
Im hart umkämpften Markt für Intelligent Document Processing (IDP) präsentieren KI-Anbieter in Proof of Concepts (PoC) häufig Trefferquoten von über 95 Prozent. Das klingt beeindruckend, ist aber leider nur ein sorgfältig inszenierter Ausschnitt der Realität.
Damit KI-Modelle im Rahmen von IDP zuverlässige Ergebnisse liefern können, müssen sie trainiert werden. Dafür benötigen Anbieter von den Interessenten ihrer Modelle zunächst entsprechende Dokumente – das gilt auch für uns. Entscheidend ist dann, was anschließend im Rahmen des PoC mit diesen Dokumenten geschieht. Werden sie vor dem Einsatz der KI normalisiert, also in eine standardisierte Form gebracht, lassen sich extrem hohe Trefferquoten erzielen. Diese Zahlen werden dann stolz im Pitch präsentiert, die Entscheider sind begeistert und das Projektbudget wird freigegeben und der Auftrag erteilt.
Inhalt
Wenn die Realität eintritt
Wird die IDP-Lösung dann allerdings im Echtbetrieb eingesetzt, kippt die Situation häufig. Das KI-Modell sieht sich plötzlich mit Dokumenten in allen denkbaren Varianten konfrontiert, für die es nicht trainiert wurde. Die Unterlagen sind schief eingescannt, die Layouts variieren oder es kommen neue Dokumenttypen hinzu. Besonders problematisch ist die Verwendung ungewöhnlicher Schriften bzw. von Handschriften. Genau hier zeigt sich, was eine Lösung wirklich leisten kann.
Robuste Systeme statt Demo-Optimierung
Deutlich wird: Die wichtigste Frage lautet nicht, wie gut ein Modell mit vorbereiteten Beispielen funktioniert, sondern wie robust es unter realen Bedingungen arbeitet. Und da fallen die glatten Zahlen aus dem PoC oft schnell in sich zusammen. Eine Trefferquote von 95 Prozent bei normalisierten Dokumenten ist wertlos, wenn im Tagesgeschäft der tatsächliche Durchsatz sinkt, die Fehlerquote steigt und schließlich mehr manuell korrigiert werden muss, als automatisiert werden kann.
Die versteckten Kosten schlechter Automatisierung
Das Problem ist aber nicht nur technischer, sondern vor allem wirtschaftlicher Natur. Wenn ein System im Test performante Ergebnisse liefert, im Echtbetrieb aber schnell an seine Grenzen stößt, entstehen Folgekosten an mehreren Stellen: durch manuelle Nacharbeit, mehr Ausnahmebehandlungen und mehr Qualitätskontrolle. Der versprochene Automatisierungsgrad wird nicht erreicht. Anstelle von Entlastung entsteht zusätzlicher Aufwand. So wird aus einer vielversprechenden Demo ein teurer Irrtum – und das Projekt im schlimmsten Fall eingestellt.
Wenn ein Anbieter also mit einer Trefferquote von über 95 Prozent wirbt, sollte man sehr genau hinschauen und prüfen, unter welchen Bedingungen diese Zahl zustande kam. Wurden die Dokumente zuvor normalisiert? Waren die Layouts homogen? Und vor allem: Wie sieht das Ergebnis unter realen Bedingungen aus mit Dokumenten unterschiedlichen Aufbaus und variierender Qualität? Ein KI-Modell, das nur mit optimierten Dokumenten überzeugt, spart zwar anfangs Diskussionen, produziert aber später Ärger und Frust.
Neben der Modellperformance sollten bei der Auswahl eines KI-Anbieters natürlich weitere Kriterien berücksichtigt werden, etwa ein transparentes Preismodell, technische Expertise und ein umfassendes Maßnahmenpaket zum Datenschutz.
Unser Ansatz: Realität statt Wundertüte
Um die beschriebenen „Überraschungen“ zu vermeiden, prüfen wir zunächst in nur 20 Minuten, ob sich ein individuelles Dokumentenmodell für Ihren Use Case lohnt. Bestätigt sich dies und liegen die notwendigen Informationen vor, liefern wir Ihnen innerhalb von 30 Tagen ein individuell entwickeltes und mit Ihren Dokumenten trainiertes KI-Modell. Vom Ergebnis dieses KI-Modells mit realen Dokumenten, echten Layouts und schwankenden Qualitäten können Sie sich gerne, bis zum Go-live in Ihrem operativen Tagesgeschäft, kostenfrei und unverbindlich überzeugen. Wir scheuen auch keinen Vergleich mit anderen Anbietern. Testen Sie unsere Lösung gern auch gegen die anderer Hersteller, aber bitte unter realen Bedingungen und nicht mit getunten Dokumenten.
Neugierig geworden? Dann freuen wir uns auf Ihre Kontaktaufnahme.