Dieser Artikel an sich ist eine Innovation. Er ist das Ergebnis der Zusammenarbeit der MACH AG mit der Universität zu Lübeck. Der Rahmen dieser Zusammenarbeit ist das Joint Innovation Lab, das im Dezember 2018 als Kooperation zwischen der Universität zu Lübeck, dem Land Schleswig-Holstein und der MACH AG eröffnet wurde.
Der Inhalt dieses Artikels wurde ursprünglich für Vorträge im Rahmen des IT-Planungsrat-Kongresses in Lübeck und für die KI-Konferenz in Kiel erarbeitet. Bei beiden Veranstaltungen wurden die Vorträge gemeinsam durch die beiden Autoren Prof. Dr. Thomas Franke, Ingenieurpsychologie und Kognitive Ergonomie, Institut für Multimediale und Interaktive Systeme (IMIS) der Universität zu Lübeck und André Gode, Innovation Architect im MACH Innovation Hub gehalten. Zudem ist er im Rahmen des Tagungsbandes der KI-Konferenz in Kiel erschienen.
Grundsätzlich ist KI ein Werkzeug für den Menschen. Gerade bei Aufgaben, die die Kapazität der menschlichen Informationsverarbeitung stark belasten oder übersteigen, kann KI ein sehr hilfreiches Werkzeug sein. Sich wiederholende, datenintensive und regelgeleitete Aufgaben können besonders gut mittels KI automatisiert und überwacht werden. KI ist damit Teil eines "Automatisierungs-Werkzeugkastens" für die Verwaltung.
Die Automatisierung ist ein stufenweiser Prozess (vgl. "levels of automation", Sheridan & Verplank, 1978) ausgehend von “der Mensch erledigt alle Tätigkeiten”, über Vorschläge des Systems (mehrere, dann einen, dann einen der ausgeführt wird, wenn der Mensch nicht eingreift), bis hin zu weitgehend autonomer Ausführung von Prozessen und einer Informationen von Nutzern nur bei Problemen.
KI in der öffentlichen Verwaltung
Die Künstliche Intelligenz (KI) in der öffentlichen Verwaltung ist ein derzeit viel beachtetes Thema mit großen Hoffnungen, verschiedensten Befürchtungen, und vielen Unklarheiten. Dabei ist KI nicht gleich KI, und die richtige Zusammenarbeit zwischen künstlicher und natürlicher Intelligenz ist entscheidend für den Erfolg.
„Automatisierung heißt nicht vollständiges Abgeben von Aufgaben. Die Automatisierung ist ein stufenweiser Prozess.“
André Gode
Innovation Architect bei MACH und Leiter Joint eGov and Open Data Innovation Lab (JIL)
Nachvollziehbare Systementscheidungen
Hierbei ist entscheidend, dass KI Systeme nicht nur zuverlässig arbeiten, sondern dass die Systementscheidungen ab einer gewissen Relevanz auch nachvollziehbar und erklärbar sind. Die Nachvollziehbarkeit und Erklärbarkeit von Entscheidungen ist in der öffentlichen Verwaltung unabdingbar. Mit Artikel 22 der DSGVO ist dies für Bürger inzwischen sogar gesetzlich verankert.
Bezüglich der Erklärbarkeit unterscheiden sich KI Systeme aber grundlegend und lassen sich in drei Stufen einteilen. Welche System-Stufen sich für die öffentliche Verwaltung eignen, hängt vom Anwendungsfall und vor allem von der Tragweite der Entscheidung ab.
„Die KI darf nicht zu einer Allmacht werden, die sagt, was richtig oder falsch ist, sondern muss die Gründe für diese Entscheidungen transparent machen.“
Prof. Dr. Thomas Franke
Ingenieurpsychologie und Kognitive Ergonomie, Institut für Multimediale und Interaktive Systeme (IMIS) der Universität zu Lübeck
3 Stufen der Erklärbarkeit von KI
Mainstream-KI
Blackbox-Systeme, die meistens auf neuronalen Netzen oder anderen Machine Learning Verfahren basieren. Sie sind mit großen Datenmengen gut trainierbar, aber nicht nachvollziehbar. In der öffentlichen Verwaltung eignen sie sich z. B. für Texterkennung bei der maschinellen Dokumentenerfassung, bei der auf eine Herleitung verzichtet werden kann. Auch bei der Analyse von Auffälligkeiten kommt es weniger auf die Nachvollziehbarkeit der Ergebnisse an, weil die Begründung meist in der Fragestellung oder der Auswahl des Algorithmus liegt (z. B. Welche Eingangsrechnungen weisen einen auffällig hohen Betrag auf?).
Interpretierbare KI
Erweiterte Systeme der 1. Stufe, die zumindest eine Aussage über die Qualität des Systems erlauben. In der Verwaltung ist diese KI z. B. bei Vorschlagssystemen häufig ausreichend, da die Qualität der Vorhersagen relevant ist und beurteilt werden kann (wenn z. B. Sachkonten zum Verbuchen eines Belegs vorgeschlagen werden).
Erklärbare KI
Whitebox-Systeme oder besser Glassbox-Systeme, deren Ergebnisfindung nachvollziehbar ist. Aktuell nur mit klassischen symbolischen Systemen möglich. Diese KI ist unumgänglich, wenn z. B. Entscheidungen über einen Antrag getroffen werden. Dann ist Nachvollziehbarkeit und Erklärbarkeit sowohl rechtlich wie auch ethisch erforderlich.
Aus diesem Stufenmodell ergibt sich eine Verfeinerung der Aussage, dass KI mehr als ein Werkzeug ist: Es ist eine Sammlung von Werkzeugen, die jeweils einer der Erklärbarkeitsstufen zugeordnet werden können. Diese Werkzeuge haben bestimmte Formen bzw. Bezeichnungen.
Stufe 1: Text- /Bilderkennung und die Ausreißeranalyse
Stufe 2: Vorhersage
Stufe 3: regelbasiertes Entscheidungssystem.
Die Werkzeuge können einzeln oder auch in Kombination stufenübergreifend angewendet werden — immer unter Beachtung der notwendigen Nachvollziehbarkeit des Anwendungsfalls.
„KI muss nicht nur gebrauchstauglich sein, d. h. effektiv, effizient und zufriedenstellend für die Nutzer. KI muss so gestaltet werden, dass sich ein positives Nutzererleben bei einer möglichst großen Zahl unterschiedlichster Nutzer einstellt.“
André Gode
Innovation Architect bei MACH und Leiter Joint eGov and Open Data Innovation Lab (JIL)
Der Mensch im Fokus
Die Entwicklung, Auswahl und Einsatz dieser Werkzeuge muss intensiv menschzentriert erfolgen und damit einem nutzerzentrierten Entwicklungsprozess folgen. Gerade die Personen, die Teile ihrer Arbeit auf automatisierte KI-Systeme übertragen, müssen von Anfang an in die KI-Entwicklung eingebunden werden — gerade auch, da der Einsatz von KI-Systemen Arbeitsprozesse grundlegend verändern kann und dabei zentrale menschliche Bedürfnisse wie Autonomie und Kompetenz beeinflussen kann (z. B. Änderung von Rollenbildern).
Etablierte Methoden der menschzentrierten Gestaltung, z. B. der menschzentrierte Gestaltungsprozess der ISO 9241-210, bilden hierfür eine gute Basis. Bezüglich maschineller Entscheidungen weisen Aspekte wie Vertrauen und Nachvollziehbarkeit allerdings noch einen hohen Forschungsbedarf auf. Unter den genannten Aspekten ergeben sich damit drei zentrale Bedingungen, damit KI in der öffentlichen Verwaltung positiv eingesetzt werden kann.
Bedingungen zum Einsatz von KI in der Öffentlichen Verwaltung
Law to code
Gesetze und Verordnungen müssen in maschinen-interpretierbaren Regeln abgebildet werden (können), um z. B. automatisierte Entscheidungssysteme zu implementieren. Hier ist ggf. die Legislative mit einer zeitnahen Anpassung von Vorgaben gefragt.
Change Management
Die zunehmende Mensch-KI-Interaktion verändert die Arbeitswelt. Hier ist es wichtig, die Mitarbeiter z. B. durch Fortbildungen zum Thema Künstliche Intelligenz aufzuklären und mitzunehmen. Es werden zudem neue Rollen und Aufgaben auf die Mitarbeiter zukommen, die sich mit dem Betrieb und der Wartung von KI-Systemen beschäftigen. In diesen Prozess der Rollendefinition sollten die Mitarbeiter eingebunden werden, um in Zeiten des Fachkräftemangels gemeinsam attraktive Arbeitsplätze zu schaffen.
Agile nutzerzentrierte Projekte
Aufgrund der Komplexität und der vielen Unbekannten beim Einsatz von KI in der Verwaltung sollte die Einführung von KI iterativ erfolgen. D. h. kleine Projekte, in denen menschzentriert gestaltet wird und die im Sinne des Lean Startup aufgesetzt werden (Bauen-Messen-Lernen).
Werden diese Bedingungen erfüllt, dann lassen sich die Chancen maximieren, dass sich die aktuell in KI gesetzten Erwartungen tatsächlich erfüllen und die Befürchtungen der Nutzer und anderen Stakeholder adressiert werden können – und damit eine erfolgreiche Nutzung von künstlicher Intelligenz in der öffentlichen Verwaltung realisiert werden kann.
MACH Karriere
Komm ins Team
und mach mit uns die öffentliche Verwaltung digital
Du willst deine Superkräfte für eine gute Sache mobilisieren? Dann finde bei uns deine Aufgabe!
Wir haben einen Machine-Learning (ML)-basierten Prototypen für die Rechnungserfassung zu einem MVP in Produktion ausgebaut. Thomas Herchenröder, Innovation Engineer bei MACH, beschreibt in diesem Artikel den Prozess und was wir daraus gelernt haben.
