Pilotprojekt
KI in der Verwaltung: Ein Testlauf in Hamburg
KI in der Verwaltung: Hilfe beim Texten
Large Lanuage Models, sogenannte große Sprachmodelle, können KI-basiert Texte in Windeseile zusammenfassen oder beim Recherchieren und beim Texten unterstützen. Rund 100 Verwaltungsangestellte kamen im Herbst des vergangenen Jahres in Hamburg zusammen, um solch einen Textassistenten verwaltungsintern zu testen.
Dabei stammten die Testgruppen aus unterschiedlichen Behörden, wie etwa der Sozialbehörde oder dem Amt für Geoinformation und Vermessung. Bevor es losging, erhielten die Testpersonen kurze Schulungen für die vier Anwendungsfälle:
- Texte zusammenfassen
- Texte entwerfen, z.B. E-Mails, Anschreiben, etc.
- Recherchieren (Inhalte aus ausgewählten Fachbereichen)
- Expertenmodus (freies Prompten)
Für das Pilotprojekt setzte das Team auf eine webbasierte Anwendung, bei der die Testgruppen über einen Browser auf die Anwendung zugreifen.
Einfache Handhabung des KI-Textassistenten
Der Textassistent basiert auf dem Sprachmodell Luminous von Aleph Alpha, einem KI-Technologie-Unternehmen aus Heidelberg. Die Frontend- und Datenverarbeitung entwickelte der externe Dienstleister speziell für die Hamburger Verwaltung. Das heißt: Um die Handhabung so einfach wie möglich zu machen, entwickelte er eine Eingabemaske, die verschiedene Parameter zum Auswählen bietet.
Um etwa eine Mail oder ein Anschreiben mithilfe der Textassistenz zu verfassen, waren Stichpunkte und bestimmte Angaben notwendig, die die Testpersonen eingeben und auswählen sollten. Welche Anrede und welcher Sprachstil sind gewünscht? Wie lang soll der Text werden? Die Funktion „Expertenmodus“ setzt dagegen auf freies „Promten“. Das heißt, ähnlich wie bei dem bekannten Sprachmodell GPT4 konnten die Testgruppen selbst definierte Anforderungen in das System eingeben.
Datenschutz als Herausforderung
Damit der Textassistent Rechercheergebnisse oder Zusammenfassungen liefern kann, trainierten die Entwickler ihn mit öffentlich zugänglichen Datensätzen, aus verschiedenen Fachbereichen und der Parlamentsdatenbank.
Personenbezogene Daten oder anderweitig vertrauliche Informationen wurden nicht einbezogen. Mit Blick in die Zukunft gibt Alvermann zu Bedenken: Das Thema Datenschutz im öffentlichen Sektor ist eine der größten Herausforderungen bei KI-Anwendungen.“
Der Bereich Wissensmanagement – das eigene Wissen der Organisation sinnvoll zu durchsuchen – biete noch sehr viel Potenzial. „Hier müssen wir schauen, ob das tatsächlich mit solch einem generalistischen Tool wie LLMOIN abbildbar ist, oder ob man nicht für spezifische Anwendungsfälle spezifische Rechercheassistenten benötigt“, sagt Alvermann. Diese könnten so trainiert und entsprechend konfiguriert werden, dass sie auch komplexe Datensätze sinnvoll durchsuchen können. Schließlich war die Rechercheassistenz bereits im Vorfeld und während der Tests von großem Interesse.
Feedback für jede Interaktion
Was funktionierte oder eben nicht, hielten die Testgruppen in Feedbackbögen für jede ihrer Aktionen mit dem Sprachassistenten fest. „So konnten wir lernen und wertvolle Erfahrungen sammeln“, sagt Alvermann. Eine Erkenntnis sei, dass sowohl die geführte Einstiegshilfe für unkomplizierte Anwendungsfälle als auch die Möglichkeit spezifische Anforderungen im Expertenmodus zu formulieren, gewünscht sind.
„Insgesamt waren die Ergebnisse gemischt“, fasst er zusammen. Einzelne Parameter für Textzusammenfassungen lieferten noch nicht die gewünschten Ergebnisse, wie etwa die Textlänge. Darüber hinaus entdeckten die Testpersonen, dass falsch formatierte PDFs im System nicht korrekt ausgelesen werden konnten. Der Rechercheassistent gab bei komplexen Texten nicht die Informationen raus, die sich die Fachexperten gewünscht hätten.
Weitere konzeptionelle Arbeit nötig
Auf welchen Funktionen in Zukunft der Fokus liegen soll, ist indes noch offen. Klar ist aber: „Es liegt noch einiges an konzeptioneller Arbeit vor uns, damit Nutzerinnen und Nutzer zukünftig auf die für sie relevanten Informationen zugreifen können“, so Alvermann.
In einem zweiten Pilotprojekt sollen demnächst weitere Sprachmodelle getestet werden, denn Large Language Models würden sich extrem dynamisch entwickeln. „Unsere künftige KI-Assistenz muss modell-agnostisch sein, damit wir unabhängig von einzelnen Sprachmodellanbietern sind und wir auf neue Markt-Entwicklungen reagieren könne“, betont er.
Live-Gang noch offen
Auch soll eruiert werden, wie eine datenschutzkonforme Lösung aussehen kann, bei der beispielsweise auch personenbezogene Daten eingegeben werden können – was eine deutliche Verbesserung in der Nutzbarkeit darstellen würde.
Bis die KI-basierte Anwendung tatsächlich in der Hamburger Verwaltung eingesetzt werden kann, wird es zwar noch etwas dauern – wertvolle Erkenntnisse lieferte das Projekt allemal, resümiert der Projektleiter.
