Eine hohe Datenqualität ist Voraussetzung für zuverlässige KI-Anwendungen

Die Leistungsfähigkeit von Künstlicher Intelligenz (KI) ist mittlerweile beeindruckend. KI kann Texte formulieren, Fragen beantworten, Bilder analysieren und sogar selbst welche erstellen. Das Ergebnis ist meist beeindruckend. Doch KI kann auch halluzinieren, also Informationen erfinden, die falsch oder nicht belegbar sind. Während dies im privaten Kontext möglicherweise tolerierbar ist, stellt es für Unternehmen, die ihre Dokumente mithilfe von KI automatisiert verarbeiten möchten, ein ernsthaftes Problem dar.

Inhalt

shutterstock_2570661789

Warum halluziniert eine KI?

Eine KI ist darauf trainiert, Antworten zu liefern – selbst wenn diese falsch sind. Das gilt besonders für Large Language Models (LLMs) wie ChatGPT. Die Anbieter solcher Modelle verfolgen das Ziel, ihre KI kontinuierlich zu verbessern. Hierfür werden die menschlichen Rückmeldungen aus dem Dialog zwischen Mensch und Maschine genutzt, weshalb dieser Dialog aufrechterhalten und nicht abgebrochen werden soll.

Auch bei der intelligenten Dokumentenverarbeitung (Intelligent Document Processing, IDP) kann eine KI halluzinieren. Das ist insbesondere dann der Fall, wenn Dokumente nicht richtig erkannt bzw. die Daten falsch ausgelesen werden.

Risiken halluzinierender KI beim Intelligent Document Processing (IDP)

Bei der intelligenten Dokumentenverarbeitung stehen KI-Modelle am Anfang der Prozesskette, um Dokumente „dunkel“ – also ohne menschliche Eingriffe – zu verarbeiten. Für eine möglichst hohe Erfolgsquote klassifizieren KI-Modelle zunächst die Dokumente. Im nächsten Schritt erfolgt die Extraktion der benötigten Informationen, die anschließend als JSON- oder CSV-Datei an weiterverarbeitende Systeme übergeben werden. Wenn KI-Modelle in diesem Prozess halluzinieren, arbeiten die nachgelagerten Prozesse mit falschen Daten. Dies kann gravierende Folgen haben, beispielsweise wenn Rechnungen mit einem falschen Betrag oder einer falschen IBAN beglichen werden.

Halluzinierende KI kann aber auch „nur“ dazu führen, dass Prozesse abbrechen. Werden etwa bei der Extraktion von Rechnungen Daten falsch ausgelesen, z. B. Nettobetrag als Lieferantennummer, sind die Buchungssätze in der Finanzbuchhaltung falsch.

Wie lässt sich halluzinierende KI vermeiden?

Um das Phänomen halluzinierender KI zu minimieren, sollten Unternehmen von Beginn an Maßnahmen ergreifen. Dazu gehört vor allem, die Modelle mit einer geeigneten Menge qualitativ hochwertiger Daten zu trainieren. Ist dies nicht sichergestellt, ist das Risiko fehlerhafter Ergebnisse groß (Stichwort: Garbage In, Garbage Out). Das Trainingsmaterial sollte sowohl korrekt klassifizierte bzw. ausgelesene Daten umfassen als auch Dokumente mit ähnlichem Aufbau, die nicht zur relevanten Klasse gehören. So lernen KI-Modelle, wiederkehrende Strukturen und Inhalte zu erkennen, und liefern mit sehr hoher Wahrscheinlichkeit korrekte Ergebnisse.

Neben der Sicherstellung von hochwertigem Trainingsmaterial empfiehlt es sich, klare Richtlinien für den Einsatz von KI zu formulieren. Dazu gehört insbesondere die Möglichkeit für Mitarbeitende, Ergebnisse zu überprüfen, um ihr Vertrauen in die KI-gestützte Entscheidungsfindung zu fördern. Indes sollten KI-Modelle grundsätzlich als Unterstützung und nicht als autonome Entscheidungsinstanz eingesetzt werden. Darüber hinaus ist es ratsam, die Modelle vor ihrem Go-live intensiv zu testen und auch danach regelmäßig stichprobenartige manuelle Kontrollen durchzuführen.

Ergebnisse von KI-Modellen überprüfen

Unabhängig von den Maßnahmen, die Unternehmen ergreifen, um Halluzinationen zu vermeiden, sollten die Ergebnisse der KI in jedem Fall überprüft werden. Dies kann wie folgt geschehen:

  • Zweites KI-Modell einsetzen: Ein weiteres KI-Modell erhält dieselben Dokumente und Aufgabenstellungen. Im Anschluss werden die Ergebnisse beider Modelle miteinander verglichen.
  • OCR-Ergebnisse einbeziehen: Die vom KI-Modell extrahierten Daten werden mit denen verglichen, die eine OCR-Technologie ausgelesen hat. Bei IBANs kann beispielsweise die Prüfziffer herangezogen werden.
  • Stammdaten hinzuziehen: Im Rahmen der Rechnungsverarbeitung besteht die Möglichkeit, die ermittelten Kreditorendaten mit den bestehenden Stammdaten abzugleichen.

Falls diese automatisierten Verfahren Hinweise auf Halluzinationen liefern, ist ein manueller Eingriff („Human in the Loop“) erforderlich. Dabei werden die Ergebnisse der KI mit den Originaldokumenten visuell abgeglichen und gegebenenfalls korrigiert. Durch dieses Feedback lernt auch das KI-Modell, sodass die Ergebnisse immer zuverlässiger werden.

 

Auch applord ist sich der Problematik von Halluzinationen bewusst und hat deshalb Modelle entwickelt, bei denen nachvollziehbar ist, wie die KI zu ihren Ergebnissen kommt. Das fördert einerseits das Vertrauen und sorgt andererseits für transparente Prozesse innerhalb der intelligenten Dokumentenverarbeitung. Den Kunden des Aachener Unternehmens steht ein Team aus ausgewiesenen Expertinnen und Experten zur Verfügung, das klassische Softwareentwicklung mit KI-Forschung kombiniert. Nach dem Motto „Vertrauen ist gut, Kontrolle ist besser“ ergänzt applord jedes KI-Modell um eine Prüfinstanz. Schließlich liegt der Unterschied zwischen beeindruckend und verlässlich oft nur in einer Halluzination.

Setzen Sie sich mit uns in Verbindung und erfahren Sie, wie Sie Ihre KI-Modelle effektiv und nachhaltig vor Halluzinationen schützen können!