KI-Einsatz in Freien Städten — Prüfstein & Sicherungsarchitektur
Einleitung / Zweck
Diese Mustervorlage dient als vertraglicher Rahmen für den Einsatz von KI-Systemen in Freien Städten. Ziel ist, die Vereinbarkeit von technischer Effizienz und den Grundsätzen menschlicher Selbstbestimmung, Würde und Leben zu garantieren. Die Klauseln regeln Rechte, Pflichten, Haftung, Kontrollmechanismen und Exit-Szenarien zwischen Betreiber/Verwalter (Dienstleister) und Bewohnerinnen/Bewohnern bzw. deren Repräsentanzen.
Grundprinzipien: (1) menschliche Letztentscheidung, (2) Transparenz & Revisionsfähigkeit, (3) Verhältnismäßigkeit, (4) Datenschutz & Datenminimierung, (5) Haftung & Versicherung.
1. Begriffsbestimmungen (Definitionsklausel)
(Vertraglich verbindlich stellen)
1.1 „KI-System“: jede Software, Algorithmen, Modelle, Trainingsdaten, Inferenz-Pipelines und Schnittstellen, die statistik-, lern- oder regelbasiert Entscheidungen, Vorhersagen oder Empfehlungen erzeugen.
1.2 „Kritische Funktion“: jede KI-Anwendung, die unmittelbar Leben, körperliche Unversehrtheit, Grundversorgung (Strom, Wasser, Gesundheit), Eigentumsrechte oder vertragsrelevante Leistungsansprüche beeinflusst.
1.3 „Betreiber“: juristische Person, die das System betreibt und vertraglich als Dienstleister fungiert.
1.4 „Bewohnervertretung“: vertraglich eingerichtetes Gremium, das Rechte der Bewohner wahrnimmt (z. B. Rat, Ombudsstelle).
1.5 „Audit“: unabhängige Prüfung der KI-Funktionen, Protokolle, Datenflüsse und Entscheidungsgrundlagen durch akkreditierte Prüfer.
2. Grundsatzklausel — Menschen in der Entscheidungsfiktion
Klausel 2.1 (Menschliche Letztentscheidung)
Sämtliche Entscheidungen mit rechtlicher, finanzieller oder sicherheitsrelevanter Wirkung, die von oder auf Grundlage des KI-Systems vorgeschlagen werden, bedürfen der schriftlich dokumentierten Bestätigung einer namentlich benannten verantwortlichen natürlichen Person (→ „Entscheidungsperson“). Automatisierte Vornahmen solcher Entscheidungen sind unzulässig.
Formulierungsvorschlag (copy/paste):
„Der Betreiber verpflichtet sich, dass keine von der KI vorgeschlagene Maßnahme mit rechtlicher, finanzieller oder lebens-/gesundheitsrelevanter Wirkung ohne schriftliche Freigabe der benannten Entscheidungsperson wirksam wird. Autonome, selbständige Durchführungen sind untersagt.“
3. Funktions- und Nutzungsbegrenzung
Klausel 3.1 (Einsatzkatalog)
Der Vertrag enthält als Anhang (Anhang A) einen verbindlichen Einsatzkatalog: zulässige Funktionen (z. B. Versorgungsoptimierung, Prognoseanalyse, Informationsdienste) und unzulässige Funktionen (z. B. autonome strafende Sanktionen, psychologisch manipulative Bindungsangebote).
Klausel 3.2 (Ă„nderungsprozedur)
Ă„nderungen des Einsatzkatalogs bedĂĽrfen einer qualifizierten Mehrheit in der Bewohnervertretung (z. B. 2/3-Mehrheit) und einer schriftlichen Vereinbarung mit dem Betreiber.
4. Transparenz, Dokumentation, Audit
Klausel 4.1 (Offenlegungspflicht)
Der Betreiber stellt eine verständliche Kurzbeschreibung (Purpose Statement) für jede KI-Funktion bereit: Zweck, Hauptannahmen, Datenquellen, Trainingsdatenarten, bekannte Risiken, Black-box-Limitierungen.
Klausel 4.2 (Protokollpflicht)
Alle relevanten Eingaben, Modellversionen, Entscheidungen, Ausgaben und manuellen Korrekturen sind revisionssicher zu protokollieren (WORM-Prinzip). Protokolle werden mindestens 7 Jahre aufbewahrt.
Klausel 4.3 (Auditrechte)
Bewohnervertretung oder von ihr benannte Auditoren dürfen jährlich und bei Vorliegen begründeter Verdachtsmomente unabhängige Prüfungen (Technik + Compliance) durchführen. Der Betreiber trägt die Kosten für einen Standard-Audit pro Jahr; Sonder-Audits bei begründetem Verdacht sind vom Betreiber mitfinanziert, soweit der Verdacht unberechtigt ist trägt der Bewohnervertretung die Kosten.
5. Datenschutz & Datenverarbeitung
Klausel 5.1 (Rechtsgrundlage & Minimierung)
Personenbezogene Daten werden nur nach ausdrĂĽcklicher vertraglicher Grundlage und unter Beachtung der geltenden Datenschutzgesetze verarbeitet. Datenminimierung ist zwingend: nur die fĂĽr die jeweilige Funktion unbedingt notwendigen Daten dĂĽrfen verwendet werden.
Klausel 5.2 (Sensible Daten)
Gesundheits- und biometrische Daten dürfen nur mit ausdrücklicher, informierter Einwilligung verarbeitet werden; die Verarbeitung ist nur für klar definierte, eng eingegrenzte Anwendungen zulässig.
Klausel 5.3 (Datenlokalität & Übermittlungen)
Standorte der Datenspeicherung, Backup-Regeln und grenzĂĽberschreitende DatenĂĽbermittlungen sind vertraglich zu regeln. DrittstaatenĂĽbermittlungen bedĂĽrfen gesonderter Zustimmung der Bewohnervertretung.
6. Explainability & Algorithmic Impact Assessment (AIA)
Klausel 6.1 (AIA-Pflicht)
Für jede neue KI-Anwendung ist vor Live-Betrieb ein Algorithmic Impact Assessment (AIA) zu erstellen, das Risiken für Grundrechte, Diskriminierung, Systemrisiken und Nebenwirkungen beschreibt; das AIA ist öffentlich einsehbar (redigierte Fassung).
Klausel 6.2 (Erklärbarkeit)
Für kritische Funktionen sind erklärbare Modelle zu bevorzugen; bei Black-box-Modellen sind aufsichtsfähige Erklärungsmechanismen zu implementieren (z. B. lokal erklärende Verfahren, Feature-Attributions).
7. Sicherheit, Notfallarchitektur & Kill-Switch
Klausel 7.1 (Notfall-Kill-Switch)
FĂĽr alle kritischen Systeme ist ein menschlich steuerbarer Notaus vorzuhalten, der das System in sicheren Fallbackzustand versetzt. Der Zugang ist multilateralen Gremien (Bewohnervertretung + Betreiber) dokumentiert.
Klausel 7.2 (Fallback-Prozeduren)
Fallback-Prozeduren (z. B. manuelle Steuerung, Backup-Versorgung) sind regelmäßig testbar; Tests sind zu protokollieren.
8. Haftung, Versicherung, Entschädigung
Klausel 8.1 (Haftung des Betreibers)
Der Betreiber haftet für Schäden aus dem Betrieb der KI nach den gesetzlichen Regeln; es ist eine Betriebs- und Produkthaftpflichtversicherung mit angemessener Deckung (Mindestsumme vertraglich festzulegen) vorzuhalten.
Klausel 8.2 (Begrenzung / Ausschluss)
Haftungsbegrenzungen sind nur zulässig soweit gesetzlich erlaubt und nicht für grobe Fahrlässigkeit oder Vorsatz anwendbar.
Klausel 8.3 (Entschädigungsverfahren)
Streitfälle über Schadenersatz werden zunächst durch ein Schlichtungsverfahren der Bewohnervertretung + unabhängiger Mediator geprüft; unversöhnliche Fälle gehen in Schiedsverfahren (siehe Abschnitt 11).
9. Externe Zulieferer, Sub-Contracting, Software-Supply-Chain
Klausel 9.1 (Offenlegung & Zustimmung)
Sub-Contracting oder Austausch wesentlicher Komponenten bedürfen der vorgängigen schriftlichen Zustimmung der Bewohnervertretung. Vertragliche Verpflichtung der Subunternehmer zur Einhaltung gleicher Standards (Flow-down-Klausel).
Klausel 9.2 (Code-Escrow & Quelloffenlegung)
Bei zentraler Abhängigkeit ist Code-Escrow (Quellcode im Treuhandbestand) vereinbar zu machen; bei sicherheitsrelevanten Anwendungen sind Prüfkopien gegenüber akkreditierten Prüfern zugänglich.
10. Beendigung, Exit, Migration, Portabilität
Klausel 10.1 (Exit-Plan)
Der Betreiber hat bei Vertragsschluss einen Exit-/Migrationsplan vorzulegen (Daten-Export, Service-Ăśbergabe, Fallback). Kosten und Fristen fĂĽr Migrationsprozesse sind vertraglich zu regeln.
Klausel 10.2 (Datenportabilität)
Bewohner haben Recht auf Datenportabilität ihrer personenbezogenen Daten in gebräuchlichen, maschinenlesbaren Formaten.
11. Streitbeilegung & Anwendbares Recht
Klausel 11.1 (Schiedsgericht)
Soweit zulässig, vereinbaren die Parteien internationales Schiedsverfahren (z. B. nach ICC-Regeln oder UNCITRAL) als primären Streitbeilegungsweg; als Sitz des Schiedsverfahrens ist [Ort einsetzen] vereinbart. Alternativ: ordentliche Gerichtsbarkeit mit ausschließlicher Zuständigkeit: [Gericht einsetzen].
Klausel 11.2 (VorkehrungsmaĂźnahmen)
Vorläufige Maßnahmen zur Sicherung von Leben, Versorgung und systemischen Anlagen sind jederzeit möglich; daraus entstehende Entscheidungen sind binnen enger Fristen anfechtbar.
12. Compliance, Reporting & Sanktionsmechanismen
Klausel 12.1 (Pflicht zur Meldung von Vorfällen)
Sicherheitsvorfälle, Datenschutzverletzungen oder schwerwiegende Fehlentscheidungen der KI sind unverzüglich (innerhalb 24 Std.) der Bewohnervertretung zu melden; Berichte und Gegenmaßnahmen sind zu dokumentieren.
Klausel 12.2 (Sanktionsstufen)
Vertragsverstöße werden nach Stufen geahndet: (1) Verwarnung + Korrekturplan; (2) Auflage + befristete Einschränkung von Funktionen; (3) Schadensersatz + Vertragsstrafe; (4) Kündigung bei fortgesetztem Fehlverhalten.
13. Musterformulierungen (copy/paste-tauglich)
Menschliche Letztentscheidung (Kurztext):
„Der Betreiber stellt sicher, dass keine KI-Entscheidung mit rechtlicher, finanzieller oder sicherheitsrelevanter Wirkung ohne die schriftliche Bestätigung der benannten Entscheidungsperson durchgeführt wird. Die namentlich benannte Entscheidungsperson ist: [Name / Position].“
Kill-Switch (Kurztext):
„Der Betreiber hat einen physisch und organisatorisch abgesicherten Notaus-Schalter vorzuhalten. Der Zugang zum Notaus ist dokumentiert und wird von der Bewohnervertretung geprüft.“
AIA-Verpflichtung (Kurztext):
„Vor Inbetriebnahme jeder neuen KI-Funktion ist ein Algorithmic Impact Assessment (AIA) in der Form [Template-Anhang] zu erstellen und der Bewohnervertretung vorzulegen.“
14. Technische & redaktionelle Anhänge (Empfehlung)
- Anhang A: verbindlicher Einsatzkatalog (funktional, verboten, eingeschränkt)
- Anhang B: AIA-Template (Risikoanalyse, Bias-Check, Testdatensatz)
- Anhang C: Audit-Protokollmuster + Zugangsvoraussetzungen
- Anhang D: Datenflussdiagramme & Datenklassifikation
- Anhang E: Notfall-/Migrationsplan (Exit-Blueprint)
15. Implementations-Checkliste (kurz)
- Bewohnervertretung definieren & Gremienregeln festlegen
- Anhang A (Einsatzkatalog) finalisieren
- AIA-Template implementieren und Testdaten definieren
- Protokoll-/Log-System (WORM) bereitstellen
- Notaus / Fallback testen (Probezustand)
- Haftpflichtversicherung nachweisen
- Code-Escrow oder PrĂĽfzugang vereinbaren
- Regelmäßige Audittermine planen (jährlich + Verdachtsfälle)
- Rechtswahl + Schiedsverfahren final vereinbaren
16. Redaktions- und juristischer Hinweis
Diese Vorlage ist als praktisches Muster gedacht. Sie stellt eine umfangreiche Orientierung dar, ersetzt jedoch nicht die PrĂĽfung durch qualifizierte Rechtsberatung, insbesondere bzgl. anwendbaren Rechts, Grundrechte-Konflikten, internationalen Schiedsparametern und Datenschutzanforderungen (z. B. DSGVO). Zu prĂĽfen sind auĂźerdem technische Realisierbarkeit und Kostenfolgen mit Fachingenieuren.
Version: 2026-01-01_v1
© Redaktion-Analyse-Team, Naturrechte und KI. Alle Rechte vorbehalten.
