Zum Inhalt

Vertrauenswürdige Prüfung

Mehr als Genauigkeit: Wann ein KI-Prüfsystem produktiv eingesetzt werden kann

99 Prozent Gesamtgenauigkeit können einen kritischen übersehenen Fehler verdecken. Abnahme muss Risiko, Fehlalarme, Übersehen und Review-Aufwand betrachten.

Ca. 1 Min.

Zurück zum Journal

Industrielle Abweichungen umfassen Oberflächenfehler und logische Fehler bei Zahl, Position und Beziehung. Eine Zahl reicht nicht.

Nach Risiko statt einer Gesamtzahl bewerten

Gesamtgenauigkeit ist leicht irreführend, wenn Normalfälle überwiegen. Die Abnahme sollte Objekte, Prüfpunkte und Risiken trennen und Übersehensrate, Falsch-Positive, Lokalisierung und Review-Menge betrachten.

Logische Fehler prüfen und Entscheidungen ablehnen dürfen

MVTec LOCO erweitert Anomalien um logische Bedingungen wie Zahl und Position. Selektive Klassifikation zeigt, wie Modelle unsichere Aussagen ablehnen können. In der Prüfung ist das eine geplante Sicherheitsgrenze.

Freigabekriterien und Ergebnisse nachvollziehbar machen

Ein Pilot definiert Fehlerumfang, erlaubtes Review, Wiederholungsaufnahmen und Versionsvergleich vor dem Start. Jede Kennzahl muss zu Bild, Prüfpunkt, Version und bestätigtem Ergebnis zurückführen.

Wissenschaftliche Quellen

  1. Beyond Dents and Scratches: Logical Constraints in Unsupervised Anomaly Detection and LocalizationCVPR 2022

    Erweitert industrielle Anomalien um Anzahl, Position und logische Beziehungen.

  2. Selective Classification for Deep Neural NetworksNeurIPS 2017 Workshop / arXiv

    Untersucht die Ablehnung unsicherer Vorhersagen als Abwägung von Abdeckung und Risiko.