Beschaffungskonferenz 2023: Einsatz von KI im öffentlichen Sektor

Die Beschaffungskonferenz Ende August 2023 war ein voller Erfolg für die Veranstalter und Besucher. Inhaltlich hatte die Beschaffungskonferenz unter dem Motto «Alles neu? Die Beschaffungswelt im Wandel» einiges zu bieten: Cloud Service, Datenschutz, KI und Nachhaltigkeit. Unser Rechtsanwalt und Fachanwalt für IT-Recht (DE) Sven Kohlmeier hat als Speaker einen Einblick in die Beschaffung von KI für die öffentlichen Verwaltung und Institutionen vermittelt.

Anwendungsfälle von KI in der Verwaltung

Ganz neu ist der Einsatz von KI-Tools in der Verwaltung nicht. So nutzt etwas das Handelsregister St.Gallen einen Chatbot auf seiner Webseite und auch das Migrationsamt des Kanton Zürich setzt auf einen digitalen Chatbot. Beides sind mögliche Einsatzgebiete von KI-Tools. Durch die öffentliche Berichterstattung über ChatGPT (von OpenAI) und sein Pendent Bard (von Google) scheinen die Möglichkeiten der Vereinfachung in vielen Bereichen der Verwaltung aber ein neues Level erreicht zu haben: Die Auswertung und Analyse grosser Datenmengen, die Auswertung von Gerichtsentscheiden, die KI-automatisierte Prüfung von Anträgen, Entscheiden und Stellungnahmen und die Anfertigung von Entscheiden. Auch im Cyber-Sicherheitsbereich sowie in der strafrechtlichen Ermittlungstätigkeit können KI-Tools eine wertvolle Unterstützung sein. Anstatt, dass sich beispielsweise Mitarbeitende der Untersuchungsbehörden strafrechtlich inkriminiertes Material im Internet anschauen müssen, kann das von einem KI-Tool übernommen werden.

Die Vorteile liegen damit klar auf der Hand: Bessere Entscheidungsfindung, Zeit- und Kostenersparnis sowie eine erhöhte Effizienz der Verwaltungstätigkeit. Auf der anderen Seite stellen KI-Anwendungen auch eine Herausforderung für die Verwaltung dar: Bei vertraulichen oder personenbezogenen Daten können Risiken bei dem Einsatz von KI bestehen und auch das Vertrauen in staatliche Institutionen könnte leiden, wenn anstelle einer Amtsperson ein emotionsloses KI-Tool entscheidet.

Rechtliche Aspekte der Beschaffung von KI-Anwendungen

1. Beschaffungs- und Vergaberecht

Grundsätzlich dürfen die Verwaltung und Behörden im Rahmen der Bedarfsverwaltung KI-Anwendungen beschaffen, wenn sich die generelle Ermächtigung aus den Sachgesetzen regelt. Für das Verfahren der Beschaffung gilt das öffentliche Beschaffungs- und Vergaberecht (Bundesebene BöB/VäB; kantonales Vergaberecht). Dabei ist der Staat bei der Auslagerung von Tätigkeiten weniger frei, da er insbesondere an die Grundrechte gebunden ist und sein Handeln auf eine gesetzliche Grundlage stützen muss (SURY, Digital in Law, Informatikrecht, Bern 2021, S. 289).

2. Datenschutz

Die Verwendung von KI-Tools muss im Einklang mit dem (revidierten) DSG [https://www.wickipartners.ch/news/datenschutzrechtsrevision-teil-1-bersicht-der-nderungen] stehen. Bei der Verarbeitung von Personendaten besteht eine Informationspflicht, bei Verarbeitung von besonders schützenswerten Personendaten eine Pflicht zur Einholung einer vorherigen Einwilligung. Das Züricher IDG [https://www.zh.ch/de/news-uebersicht/medienmitteilungen/2023/08/kanton-zuerich-modernisiert-gesetz-ueber-information-und-datenschutz.html] will auch den Umgang mit KI regeln. Risiken bestehen insbesondere, wenn Daten von Bürgern und Bürgerinnen in KI-Tools eingespeist werden und von der KI später als Trainingsdaten weiterverwendet werden.

3. Haftung

Neben der datenschutzrechtlichen Busse bei Verletzung des DSG (Art. 60 ff. DSG, [https://www.wickipartners.ch/news/bussen-im-neuen-datenschutzrecht-bis-chf-25000-fr-private-person-mglich] ist auch bei der Einschaltung von Hilfsmitteln wie KI-Software eine ordnungsgemässe Leistungserfüllung geschuldet. Zwar haftet der Staat bei Ausübung hoheitlicher Aufgaben nicht für Schlechterfüllung (anders als bei einem zivilrechtlichem Vertragsverhältnis), aber der Mitarbeitende muss seine Arbeitsleistung auch bei Einsatz von KI ordnungsgemäss gegenüber dem Arbeitgeber, sei dies Behörde, Spital oder Institution, erbringen. Bisher noch nicht entschieden ist, ob eine Verpflichtung zur Offenlegung des Einsatzes von KI-Software besteht. Zumindest wenn eine höchstpersönliche Leistung zu erbringen ist, könnte dies eine (zivilrechtliche) Nebenpflicht sein; für die Verwaltung könnte sich daraus aus Transparenzüberlegungen eine Offenlegungspflicht im Bezug auf den Einsatz von KI-Software ergeben.

4. Geistiges Eigentum

Bei der Verwendung von KI-Tools stellt sich die Frage nach der geistigen Eigentumsberechtigung am entstehenden Werk wie auch dem Nutzungsrecht an den verwendeten Daten. Fraglich ist bereits, ob die KI-Trainingsdaten ein Nutzungsrecht benötigen. So haben erst kürzlich namhafte Autoren wie z.B. John Grisham, Jonathan Franzen und George R.R. Martin in New York eine Klage gegen OpenAI wegen Verletzung des Urheberrechts eingereicht [https://www.reuters.com/legal/john-grisham-other-top-us-authors-sue-openai-over-copyrights-2023-09-20/].

Der KI-Output hat keinen Urheberechtsschutz, da es sich um keine menschliche Schöpfung handelt und zudem in vielen Fällen die Schöpfungshöhe fraglich sein dürfte. Etwas anderes kann sich nach Auffassung von Sven Kohlmeier daraus ergeben, dass ein Mensch einen kreativen Input (Prompt) vornimmt und damit das KI-Ergebnis überhaupt erst erzielt werden kann. Soweit das Bundesgericht (BGE 130 III 168 E. 5.2.) entschieden hat, dass ein Foto des bekannten Sängers Bob Marley auf einem Konzert Urheberrechtsschutz geniessen kann, dürfte diese Rechtsprechung auch auf die KI-Eingabe zu übertragen sein. Im richtigen Moment auf den Auslöser einer Kamera drücken (Bob Marley) ist ebenso schöpferisch wie eine kreative Eingabe bei einem KI-Tool.

Soweit für den KI-Input urheberrechtlich geschütztes Material oder Werke genutzt werden, müsste der Verwender über die Nutzungsrechte verfügen. Insofern ist es unzutreffend, wenn in den Allgemeinen Geschäftsbedingungen von OpenAI geregelt ist: "you own all Input". Die Allgemeinen Geschäftsbedingungen von Open AI können das "geistige Eigentum" am Input nicht ohne weiteres auf den Verwender übertragen. Die Übertragung des Nutzungsrechts kann allein durch Urheber oder Nutzungsberechtigte erfolgen. OpenAI ist kein Urheber, wenn der Verwender zum Beispiel den Text eines fremden Urhebers verwendet. Bei dem Themenbereich des Urheberrechts stellen sich daher zukünftig interessante Rechtsfragen, die auch von der öffentlichen Verwaltung und deren Mitarbeitenden berücksichtigt werden müssen, wenn diese kein geistiges Eigentum verletzen wollen.

5. Berufsgeheimnis

Soweit in der öffentlichen Institution z.B. in einem Spital oder im Rechtsdienst Berufsgeheimnisträger (z.B. Ärzte / Ärztinnen oder Rechtsanwälte / Rechtsanwältinnen) tätig sind, sind die einschlägigen Vorschriften zur Verschwiegenheit zu beachten. Wer ohne Zustimmung die ihm anvertrauten Daten in ein KI-Tool einspeist, verletzt nicht nur die berufliche Schweigepflicht, sondern kann auch nach Art. 62 Abs. 1 DSG gebüsst werden.

6. Beachtung öffentlichen Rechts

Aus den Vorgaben der Bundesverfassung, dem in Art. 29 Abs. 2 BV verankerten Anspruch auf rechtliches Gehör, kann sich die Notwendigkeit ergeben, dass behördliche Entscheidungen durch Menschen getroffen werden. Art. 29 Abs. 2 BV lautet:

“Die Parteien haben Anspruch auf rechtliches Gehör.”

Wie das Bundesgericht in ständiger Rechtsprechung urteilt, besteht die Pflicht der Behörde, ihre Verfügungen und Entscheide zu begründen (BGE 129 I 232 E 3.2):

„Der Grundsatz des rechtlichen Gehörs als persönlichkeitsbezogenes Mitwirkungsrecht verlangt, dass die Behörde die Vorbringen des vom Entscheid in seiner Rechtsstellung Betroffenen auch tatsächlich hört, sorgfältig und ernsthaft prüft und in der Entscheidfindung berücksichtigt. Daraus folgt die grundsätzliche Pflicht der Behörden, ihren Entscheid zu begründen. Der Bürger soll wissen, warum die Behörde entgegen seinem Antrag entschieden hat. Die Begründung eines Entscheids muss deshalb so abgefasst sein, dass der Betroffene ihn gegebenenfalls sachgerecht anfechten kann. Dies ist nur möglich, wenn sowohl er wie auch die Rechtsmittelinstanz sich über die Tragweite des Entscheids ein Bild machen können. In diesem Sinne müssen wenigstens kurz die Überlegungen genannt werden, von denen sich die Behörde leiten liess und auf welche sich ihr Entscheid stützt (BGE 126 I 97 E. 2b mit Hinweisen).“

Fraglich ist, ob nach den Vorgaben des Bundesgerichts rechtliches Gehör gewährt wird, wenn nicht die Behörde das Vorbringen des Beschwerdeführers prüft, sondern ein autonomes KI-Tool. Ist dieses noch als Behörde im Sinne des gesetzgeberischen Anliegens zu qualifizieren?

Und auch bei der Ermessensausübung durch die Behörde stellt sich die Frage, ob diese durch ein KI-Tool ersetzt werden kann. So liegt ein Ermessensmissbrauch vor, wenn die Ermessensausübung nicht pflichtgemäss erfolgt, von sachfremden Kriterien geleitet oder “unmotiviert” ist (VGr, 22.10.2004, VB.2004.00297, E. 2.3). Auch wenn wohl nicht jede menschliche behördliche Entscheidung besonders motiviert erfolgt, dürfte jedenfalls beim Einsatz von KI keinerlei "Motivation" vorliegen. Und auch eine Ermessensunterschreitung kann vorliegen. Dies ist der Fall, wenn die Behörde das ihr eingeräumte Ermessen nicht ausschöpft, und beispielsweise ganz oder teilweise auf das ihr zustehende Ermessen verzichtet (VGr, 9.11.2011, VB.2011.00573, E. 2), wenn besondere Umstände nicht berücksichtigt werden, obwohl das Recht dies vorsieht (VGr, 8.2.2007, VB.2006.000369, E. 6), oder wenn die Behörde Fälle schematisch gleich behandelt, obgleich der Gesetzgeber eine differenzierte Behandlung bestimmter Fragen fordert (VGr, 19.5.2004, VB.2004.00123, E. 4.3.1). Dies könnte der Fall beim Einsatz von KI-Tools sein. Eine fehlerhafte Ermessensausübung durch eine Behörde kann die Unwirksamkeit des Entscheides nach sich ziehen.

Ethische Aspekte der Beschaffung von KI-Anwendungen

1. Moralvorstellungen

Die Entscheidungsfindung der KI-Anwendung kann je nach gesellschaftlich-moralischem Kompass unterschiedlich ausfallen, in Abhängigkeit davon, mit welchen Daten die KI-Anwendung trainiert wurde. Während z.B. in Europa Kinder gegenüber Älteren vielfach einen höheren Stellenwert einnehmen, ist das in Asien genau umgekehrt. Einen interessanten Einblick dazu gibt die Studie verschiedener Forschungseinrichtungen und Universitäten, abrufbar unter www.moralmachine.mit.eu. Die ethische Frage ist: Wer programmiert und trainiert die KI-Anwendung und werden damit Wertvorstellungen für die Entscheidungsfindung vorgegeben?

2. Einsatz autonomer Waffensysteme

Die ethische Fragestellung beim Einsatz autonomer Waffensysteme ist, wie viel menschliche "Rest"-Kontrolle es beim Einsatz von KI-Waffen-Systemen bedarf. Ebenfalls fraglich ist, anhand welcher Kriterien die Waffen ihre Ziele – in der Regel – selbständig auswählen. Reicht dafür schon die Hautfarbe oder ein Vollbart? Schlussendlich stellt sich auch bei KI-basierten Waffensystemen die Frage, ob es eine Ächtung wie bei Landminen bedarf. Das Eidgenössische Departement für Verteidigung, Bevölkerungsschutz und Sport (VBS) sieht im Einsatz von autonomen Waffensystemen "militärische Vorteile" und erhofft sich eine bessere Einhaltung des Völkerrechts. Hält aber gleichzeitig fest: "Es stellen sich aber zahlreiche (völker-)rechtliche, politische und ethische Fragen." (Eidgenössisches Departement für auswärtige Angelegenheiten (EDA), Abrüstung und Nonproliferation, Klassische Waffen, letzte Aktualisierung am 01.01.2023, abrufbar: hier).

3. Co-Working

Im Bereich des Arbeitsrechts drängt sich eine weitere ethische Fragstellung dazu auf, welchen Einfluss es auf Mitarbeitenden hat, wenn die Entscheidung von einer KI-Anwendung getroffen oder sie von einer solchen kontrolliert werden? Dies kann nicht nur Auswirkung auf die Motivation der Mitarbeitenden haben, wenn die KI "immer Recht hat", sondern auch für den zwischenmenschlichen Austausch.

Hinweise zur Beschaffung von KI-Anwendung in der öffentlichen Verwaltung

Nach Auffassung von Rechtsanwalt Sven Kohlmeier bedarf die Beschaffung und der Einsatz von KI-Anwendungen in der öffentlichen Verwaltung folgende Vorgaben: Transparenz, Guidelines und Einheitlichkeit.

1. Transparenz: Bei der Beschaffung von KI-Systemen bedarf es in der Ausschreibung Anforderungen an:

die Offenlegung/Transparenz über die Herkunft der (Trainings-) Daten
Transparenz über den Algorithmus der Entscheidungsfindung
Idealerweise: Offenlegung des Quellcodes, jedenfalls gegenüber der Behörde
In den Entscheiden ist z.B. durch einen "digitalen Fussabdruck" offenzulegen, dass der Entscheid unter Nutzung von KI-Systemen getroffen wurde. Das ermöglicht dem Bürger, den Bescheid und die verwendeten Hilfsmittel zu überprüfen

2. Guidelines: Aus den verwaltungsinternen Guidelines müssen sich die Spezifikationen für die zu beschaffende KI-Software ergeben. Die Guidelines sind vorgängig zur Beschaffung zu erstellen und sollten wesentliche Punkte zum Einsatz von KI-Anwendungen enthalten:

Erfüllung der Triage-Checkliste für KI-Systeme (Checkliste 1, Schlussbericht Einsatz von KI, Kanton Zürich, PDF)
Erfüllung der Transparenzanforderungen (Checkliste 2, Schlussbericht Einsatz von KI, Kanton Zürich, PDF)
Technische Vorgaben, wie in den Entscheiden die eingesetzten KI-Tools durch eine Signatur oder "digitalen Fussabdruck" offengelegt werden
Vorgaben über die eingesetzten Trainingsdaten und deren Herkunft
Vorgaben zur Einhaltung von Gesetzen (u.a. Datenschutz, Urheberrecht)

3. Einheitlichkeit: Es bedarf einer einheitlichen Verwaltungspraxis für die Ausschreibung von KI-Systemen durch Bund und Kantone im Hinblick auf:

Ethische Grundsätze
Einhaltung von Gesetzen (z.B. Datenschutz und Urheberrecht etc.)
Beschreibung des zu beschaffenden Systems (z.B. Leistungsumfang, Hosting, Herkunft der Trainingsdaten und Anforderungen an die Anpassung der Trainingsdaten etc.)

Sven Kohlmeier befasst sich bei Wicki Partners AG mit Fragen zu KI, IT und Datenschutz. Auf Grund seiner beruflichen Vergangenheit hat er zudem einen tiefen Einblick in Verwaltungsvorgänge und die Digitalisierung der Verwaltung. Bei Fragen zum Thema wenden Sie sich gerne an Sven Kohlmeier.

Die an der Beschaffungskonferenz gehaltene Präsentation finden Sie hier: (PDF)

Den vollständigen Video-Link seiner Präsentation finden sie hier: (YouTube)