Bitte verwenden Sie einen anderen Browser

Sie verwenden einen veralteten Browser, der nicht mit den Inhalten unserer Website kompatibel ist. Für ein optimales Anzeigeerlebnis aktualisieren Sie bitte auf Microsoft Edge oder betrachten Sie unsere Website mit einem anderen aktuellen Browser.

Wenn Sie sich dafür entscheiden, diesen Browser weiter zu verwenden, werden Sie nur eingeschränkt Zugriff auf Inhalt und Funktionalität haben.

Generic
Blog

Kognitive Dokumentenautomatisierung: Wie bemisst sich Erfolg?

Willkommen zum vierten Teil unserer sechsteiligen Serie an Betrachtungen der neuesten Konzepte in den Bereichen Multi-Channel-Dokumentenerfassung und intelligente Zeichenerkennung (OCR). Im Mittelpunkt steht künstliche Intelligenz und wie sie hilft, Dokumente und Daten zu nützlichen Betriebsmitteln zu machen.

In Teil 1 ging es um RPA und ihr Potenzial als Lösung für die Probleme, die in Unternehmen mit manuellen, datenorientierten Aufgaben bestehen, aber auch um ihr bisheriges Unvermögen, die Dokumentenverarbeitung zu automatisieren. Teil 2 handelte dann von kognitiver Dokumentenautomatisierung (Cognitive Document Automation, CDA), die intelligente „Kopfarbeit“, also das Verstehen, um was es bei Dokumenten oder E-Mails geht, welche Informationen enthalten sind und was damit zu tun ist. Und in Teil 3 dieser Serie erläuterten wir, worauf bei einer CDA-Lösung zu achten ist (kleiner Tipp: Mehr als OCR muss sie schon können).

Jetzt, in Teil 4, beschäftigt uns die Frage „Wie bemisst sich der Erfolg von CDA?“

Zunächst einmal ist es das Ziel eines jeden CDA-Projekts, folgende Vorteile zu realisieren: mehr Transparenz, geringere Kosten, schnellere Verarbeitung, weniger Fehler und verbesserte Kundenbeziehungen. Der beste Indikator für den Erfolg einer CDA-Initiative ist die Benutzerproduktivität, also das Maß, in dem die Menschen produktiver werden, weil ihnen CDA hilft, die Arbeit besser und schneller zu erledigen. Die Benutzerproduktivität besteht aus zwei Komponenten: OCR-Genauigkeit und Benutzereffizienz.

Betrachten wir nun kurz beide im Einzelnen.

OCR-Genauigkeit

Die vielleicht häufigste Frage beim Anschauen einer Demonstration von CDA-Technologie ist: Welchen Grad an OCR-Genauigkeit kann ich erwarten? Die kurze Antwort ist: Es kommt auf den Anwendungsfall an. Die OCR-Genauigkeit, und generell die Klassifizierungs- und Extraktionsgenauigkeit, hängen von mehreren Faktoren ab, darunter:

  • Scanner-Hardware
  • Scan-Auflösung
  • Bildqualität
  • Dokumenttyp (Formular, Rechnung, Brief)
  • Maschinendruck/Druckschrift/Kursivschrift
  • Sprache des Dokuments
  • Schriftart und Zeichenabstand
  • Felder/Schattierungen
  • Datenbankabgleich, Prüfsummen und andere Regeln

Einige dieser Faktoren wird diese Blogserie noch eingehender behandeln. Vorerst gilt: Je höher die Genauigkeit, desto umfassender die Klassifizierungs- und Extraktionsautomatisierung; je geringer die Genauigkeit, desto weniger Automatisierung und mehr manuelle Arbeit.

Da die Genauigkeit so stark variiert, ist es am besten, anhand von Benchmark-Tests an realen Geschäftsbeispielen die Klassifikations- und Extraktionsgenauigkeitsraten festzustellen. Anhand dieser Ergebnisse können Sie die Projekteinstellungen für jeden Dokumententyp und jedes Feld optimieren und so die Genauigkeit und die Automatisierung steigern. Bei Benchmarks-Tests gilt es, für jeden Dokumenttyp und für jedes Feld die Erwartung (ja/nein) und die Stimmigkeit (ja/nein) zu protokollieren. „Richtig positive“ Ergebnisse sollen maximiert, „falsch negative“ und „richtig negative“ Ergebnisse minimiert sowie „falsch positive“ Ergebnisse ganz eliminiert werden, damit sie nicht an nachgelagerte Mitarbeiter, Prozesse und Systeme weitergereicht werden.

Das verwandte, Ihnen vielleicht bekannte Konzept des „Straight Through Processing“ (STP, voll automatisierte Verarbeitung) wird auch als Kennzahl verwendet, um CDA-Ergebnisse zu beschreiben. Dies ist der Prozentsatz an Dokumenten, die das „Beschaffen, Verstehen und Integrieren“ im Rahmen des CDA-Prozesses frei von menschlichen Eingriffen durchlaufen (siehe Teil 2 dieser Blogreihe). Die STP-Rate wird nie höher sein als die geringste OCR-Genauigkeit eines der Dokumentenfelder. Konzentrieren Sie sich zur Maximierung der STP-Rate auf die extrahierten Felder mit der geringsten Genauigkeit, und passen Sie die Einstellungen für diese Felder an.

Benutzereffizienz

Die OCR-Genauigkeit ist nur die eine Seite der Benutzerproduktivität. Die andere Seite ist die Benutzereffizienz bei Ausnahmen. Dokumente und Felder, die nicht automatisch durchlaufen (so genannte „Unsichere“) müssen überprüft werden, um sicherzustellen, dass sie korrekt klassifiziert und extrahiert werden.

Einfach ausgedrückt: Die Benutzereffizienz besteht darin, wie schnell ein Benutzer in der Lage ist, ein unsicheres Dokument oder Feld zu überprüfen, zu entscheiden, was korrigiert bzw. bestätigt werden muss, und dementsprechend handelt. Die Benutzeroberfläche für die Validierung muss also für die effiziente Nutzung von Augen und Händen bei der Dokumentenklassifizierung und der Datenvalidierung gestaltet sein.

Hier sind einige Beispiele für Benutzereffizienzfunktionen in führenden CDA-Lösungen:

  • Einsprung in das zu validierende Feld und Überspringen zuverlässiger Felder
  • Hervorheben des Felds im aktuellen Bild, um es im Kontext zu zeigen
  • Anzeige eines Bildausschnitts des fraglichen Felds neben dem Dateneingabebereich
  • Individuelle Positionierung der Bereiche je nach Geschmack
  • Korrektur eines einzelnen Zeichens in dem Feld, statt Neueingabe des gesamten Felds
  • Aufruf einer Datenbankabfrage zu dem Feld mithilfe einer Tastenkombination
  • Automatische Vervollständigung des Felds basierend auf der Dokumenttypliste oder ganzseitigem OCR
  • Fertigstellen der Werte einer Tabelle durch einfache Hervorhebung

Der Aufwand für die Benutzereffizienz und -erfahrung verzehnfacht die Benutzerproduktivität im Vergleich zum gleichen Aufwand zur Verbesserung der OCR-Genauigkeit. Deshalb ist es am besten, die menschliche Arbeitsgeschwindigkeit bei der Bearbeitung dieser Ausnahmen mithilfe von effizientem Benutzerengagement und minimalen Tastatureingaben und Mausbewegungen zu maximieren.

Benutzerproduktivität

Dies bringt uns zur Benutzerproduktivität, der Kombination von OCR-Genauigkeit und Benutzereffizienz. Sie ist die wichtigste Kennzahl für den Erfolg eines CDA-Projekts.

Die Benutzerproduktivität wird wie folgt definiert: die Zahl der Dokumente pro Stunde/Tag/Woche/Monat, die jeder Mitarbeiter mit einem akzeptablen Niveau an Datenqualität verarbeiten kann. Nehmen Sie beispielsweise ein Formular für einen Hypothekenantrag. Einige Formularfelder sind wichtiger als andere, sodass ein „akzeptables Niveau der Datenqualität“ abhängig vom Feld variiert. Zur Ermittlung der OCR-Genauigkeit pro Feld ist das CDA-Projekt Benchmarking zu unterziehen, da nur so die Extraktionsraten bei Feldern mit hoher Priorität (wie der Sozialversicherungsnummer und dem jährlichen Einkommen) optimiert werden können.

Bei einer effizienten Konfiguration basierend auf der Erfolgskennzahl der Maximierung der Benutzerproduktivität, bieten CDA-Lösungen einen attraktiven ROI und amortisieren sich häufig in 6 bis 18 Monaten ab dem Systemstart.

Für eine eingehendere Betrachtung der Erfolgsmessung einer CDA-Lösung, einschließlich der Klärung, welche Kennzahlen funktionieren und welche nicht, wie Sie Einsparungen bei den Kosten und dem Arbeitsaufwand vor und nach der Automatisierung messen können und wie Sie einen überzeugenden CDA-Business-Case erstellen, finden Sie in dem Whitepaper Cognitive Document Automation Success Metrics: The Truth About OCR Accuracy (Erfolgskennzahlen der kognitiven Dokumentenautomatisierung: die Wahrheit über OCR-Genauigkeit).