Warum End2End nicht immer der beste Start ist: KI-gestützte Bestellverarbeitung mit Human-in-the-Loop

Wie wir die Bestellverarbeitung bei einem Pharmahersteller neu dachten

Die Story in kürze

Wir starteten mit einem grossen Ziel: End-to-End Automatisierung von Kundenbestellungen.

Das Ziel war es, Bestellformulare vom E-Mail Eingang bis zum ERP zu automatisieren – den gesamten Prozess ohne das Eingreifen eines Menschen.

Die Bestellformulare reichten von klar strukturierten digitalen Dokumenten bis zu handschriftlichen Scans, deren Qualität und Lesbarkeit teils stark schwankte.

Was passierte:

• Strukturierte Fälle liefen gut
• Handschrift bremste
• Change Requests fluteten das Projekt
• Budget und Scope verschoben sich

Schlussendlich wurde das Projekt gestoppt, der ROI war nicht mehr positiv.

Was geblieben ist:
Sehr klare Learnings bezüglich der Projektumsetzung sowie gegenüber dem Funktionsumfang und ein neues Setup, das heute schneller Nutzen stiftet.

Was wirklich funktioniert hat

• E-Mail Trigger: Anhänge wurden zuverlässig identifiziert und weiterverarbeitet
• Klassifizierung: Ob es sich um ein handschriftliches Formular oder eine Kassensystem Bestellung handelte wurde zuverlässig unterschieden
• Validierung: Die mit hohem Confidence Score eingestuften Werte, waren alle samt zuverlässig
• Partner Matching: Mehr als 95% Trefferrate
• Kassen OCR: Durchgehend hohe Confidence Werte
• ERP-Importfile: Robust und Integrationsbereit

Wo die Schwierigkeiten aufkamen

Wir gingen anfangs davon aus, dass das KI-Modell jedes Formular zuverlässig lesen kann, unabhängig davon, ob es digital ausgefüllt, eingescannt oder handschriftlich ergänzt wurde.

In der Praxis zeigte sich jedoch schnell eine Grenze:

Bei handschriftlich ausgefüllten Feldern sank die Erkennungsqualität deutlich. Unser OCR-System konnte etwa 65 % der Handschrift korrekt interpretieren, für den Rest lieferte es nur unsichere Schätzungen. Diese Unsicherheit spiegelt sich im sogenannten Confidence Score wider – ein Wert, der angibt, wie sicher sich das System bei einem erkannten Feld ist. Fällt dieser Wert unter eine bestimmte Schwelle, kann das System keine zuverlässige Entscheidung treffen.

Ohne einen Human-in-the-Loop Mechanismus bedeutete jedes unklare Feld einen vollständigen Stopp im Prozess. Gleichzeitig entstanden regelmässig kurzfristige Änderungswünsche, die den Entwicklungsaufwand zusätzlich erhöhten.

Das Ergebnis:

• Der Prozess kam nicht schnell genug ins Laufen, der Nutzen blieb aus und das Projekt wurde pausiert.

Unser Learning:

• Automatisierung funktioniert dann am besten, wenn klare Fälle automatisiert werden und Ausnahmen gezielt an Mitarbeitende übergeben werden können.

Das bessere Setup – Unsere heutige Empfehlung

Human-in-the-Loop statt End-to-End als Startbedingung

End-to-End Automatisierung bleibt das Ziel, aber nicht der erste Schritt. Der schnellste und nachhaltigste Nutzen entsteht, wenn man zuerst die stabilen 60–80 % automatisiert und für die verbleibenden 20–40 % ein leichtes Human-in-the-Loop Interface schafft.

So wird der Prozess früh produktiv, ohne darauf zu warten, dass jede Ausnahme, jede Handschrift und jede Formularvariante perfekt erkannt wird.

Mit diesem Ansatz wird Automatisierung inkrementell, beherrschbar und sofort wertstiftend:

• Standardfälle laufen vollautomatisch, liefern Geschwindigkeit & Effizienz
• Ausnahmen bremsen nicht mehr
• Fachbereiche behalten Kontrolle, was die Akzeptanz spürbar erhöht

END-TO-END vs. HUMAN-IN-THE-LOOP

Dimension	End-to-End Automatisierung (E2E)	Human-in-the-Loop (HITL)
Zielbild	Maximale Effizienz durch vollständig automatisierte Abläufe	Kombination aus Automatisierung und gezielter menschlicher Expertise
Stärken	Sehr schnell, skalierbar und ideal für hohe Prozessvolumen	Hohe Flexibilität bei variabler Datenqualität & Sonderfällen
Datenanforderungen	Am stärksten bei klaren, digitalisierten, strukturierten Daten	Robust bei Scans, Handschrift, unstrukturierten Eingaben
Qualitätssicherung	Automatische Validierung ohne menschliche Fehlerquellen	Menschliche Einschätzung verhindert Fehlinterpretationen der KI
Geschwindigkeit	Extrem schnell bei klar definierten Standardfällen	Schnell bei Standardfällen + kontrolliert bei Ausnahmen
Skalierbarkeit	Sehr hoch – ideal für grosse Transaktionsmengen	Hohe Skalierbarkeit, da Menschen nur bei Bedarf eingreifen
Risiko	Niedrig, wenn Datenqualität stabil und Input zuverlässig ist	Niedrig, da Sonderfälle abgefedert werden
Anwendungsfälle	Maschinenlesbare Formulare, APIs, Kassendaten, strukturierte ERPs	Scans, E-Mail-Formulare, PDF-Varianten, handschriftliche Bestellungen
Investment	Höherer initialer Aufwand, langfristig sehr effizient	Schneller Start, geringeres Risiko, ideal für iterative Weiterentwicklung
Mehrwert	Maximal automatisierte Prozesse mit minimalen Personalkosten	Hohe Prozessstabilität trotz heterogener Eingangsdaten
Beste Wahl, wenn…	…der Prozess klar, digitalisiert und ohne viel Variation ist	…die Realität viele Varianten, Scans und unklare Felder enthält

Konkrete Anpassungen für die nächsten Projekte

• OCR & KI-Modelle vor Projektstart intensiv testen
• Klare Abnahmekriterien definieren
• Frühes Scoping und sauber definierte Change-Request-Prozesse
• Human-in-the-Loop von Anfang an einplanen
• Formular- und Datenstandardisierung starten, bevor automatisiert wird
• Fachbereiche aktiv einbeziehen
• Flexibles Systemdesign

Stellen Sie unseren Experten Ihre Fragen