KI und Recht - was müssen wir zu KI-Verordnung, DS-GVO und Co. wissen
Auch die Gesetzgeber setzen sich dafür ein, dass die oben beschriebenen Risiken für die Gesellschaft und jeden Einzelnen beim Einsatz von KI minimiert werden. Die EU hat hier mit der KI-Verordnung ein Gesetz verabschiedet, das sich speziell um KI dreht. Doch auch andere Gesetze und Vorgaben gelten weiterhin und ergänzen die KI-Verordnung.
Aber keine Sorge! Wir haben für euch die wesentlichen Fakten zusammengefasst und geben euch hier Antworten auf die wichtigsten Fragen:
- Was müssen GWOs zur neuen KI-Verordnung wissen?
- Welche Verpflichtungen sind einzuhalten?
- Welche Überschneidungen gibt es mit anderen Gesetzen, welche besonderen Verpflichtungen formulieren sie für KI?

Die KI-Verordnung (Ai-Act) für Vereine
Viele Ehrenamtliche und Vereine denken beim Thema EU-Verordnungen zuerst an große Tech-Konzerne. Doch die KI-Verordnung ist anders: Sie unterscheidet nicht nach der Rechtsform, sondern nach dem Anwendungsfall. Ob Sportverein, Kulturinitiative oder Wohlfahrtsverband – wer KI nutzt, trägt Verantwortung. Aber keine Sorge: Für die meisten Anwendungen im Non-Profit-Bereich sind die Hürden absolut machbar.
Die KI-Verordnung kurz erklärt: Was Vereine jetzt wissen müssen.
Wir haben die wichtigsten Fragen zum Thema KI-Verordnung für euch beantwortet - schaut euch das Video an oder findet die Fragen und Antworten unter dem Video.
Das Gesetz ist anwendungsbezogen, nicht institutionsbezogen – es zählt also was man tut, nicht wer man ist:
Vereine können „Betreiber“ von KI sein
- Die KI-Verordnung gilt für alle „Anwender“ bzw. Betreiber von KI-Systemen – unabhängig davon, ob es sich um Unternehmen, Behörden oder gemeinnützige Organisationen handelt.
- Sobald ein Verein z. B. einen Chatbot, ein Empfehlungssystem oder eine automatische Bewertung nutzt, wird er rechtlich als „Betreiber“ angesehen.
Auch kleine KI-Anwendungen können Pflichten auslösen
- Einfache Tools wie automatisierte Terminvergabe, E-Mail-Personalisierung oder Mitgliederanalyse können unter bestimmte Pflichten fallen – z.B. Transparenzpflichten oder menschliche Kontrolle.
- Nutzt der Verein eine KI zur Entscheidung über Förderungen, Einteilung in Gruppen oder Leistungsbewertung, könnte es sich sogar um Hochrisiko-KI handeln.
Datenschutz und Grundrechte gelten auch für gemeinnützige Akteure
- Wenn ein Verein personenbezogene Daten mit KI verarbeitet, greifen DSGVO und AI Act gemeinsam.
- Besonders sensibel: Einsatz von KI bei Kindern, Geflüchteten, Menschen mit Behinderung oder anderen vulnerablen Gruppen.
- In Kraft seit 01.08.2024, aber die Verpflichtungen werden schrittweise rechtskräftig: manche der Artikel sind seit Februar umzusetzen, andere erst 2027 – Link – in jedem Fall ist jetzt der richtige Zeitpunkt, damit anzufangen
- Hauptverantwortung: EU-Kommission
- Ziel: einen Rahmen für den sicheren Einsatz von KI in Europa schaffen
- Ist ein Rechtsakt, d.h. er ist gesetzlich bindend
- Dennoch: Sie ist an vielen Stellen noch recht allgemein formuliert und lässt Raum für unterschiedliche Auslegungen. Aktuell arbeiten europäische Normungsgremien an Standards, um vor allem die Vorgaben für Hochrisiko-KI-Systeme genauer zu fassen. Zusätzlich erstellt die EU-Kommission Leitlinien, die bei vielen Fragen Orientierung geben sollen. Mehr Klarheit wird außerdem nach und nach durch die Praxis der Aufsichtsbehörden und durch Gerichtsentscheidungen entstehen - also nicht wundern, wenn man an einigen Stellen schwimmt! Das tun die ExpertInnen auch. Entscheidend: sich damit beschäftigen und guten Willen zeigen! Jeder Anfang ist besser als keiner.
Sie ist Risiko-Basiert
KI kann vielfältig eingesetzt werden, das Risiko für den Menschen ist dabei sehr unterschiedlich groß.
Ein Chatbot, der Bestellungen aufnimmt? Oder eine KI, die Leistungen auswertet und die SportlerInnen dann zuteilt - der Einfluss auf den Betroffenen ist unterschiedlich groß! Daran orientiert sich auch die Verordnung - kleines Risiko, wenig Verpflichtungen - großes Risiko, deutlich mehr Verpflichtungen!
Ist Rollen-Basiert
Die KI-Verordnung unterscheidet, welche “Rolle” man einnimmt: bietet man eine KI an oder betreibt man sie? Denn wer ein System baut, hat deutlich mehr Macht bei der Gestaltung, als wenn man sie nur nutzt - und damit auch mehr Verpflichtungen!
Woher wisst ihr nun, welche Verpflichtungen für euch zutreffen? Wir werden euch in kürze unseren Checker dafür zur Verfügung stellen.
Ein Hinweis vorneweg: Je höher das Risiko, desto mehr Verpflichtungen; Wenn man beim Einsatz drauf achtet, dass man nicht in die Hochrisikokategorie rutscht, erspart man sich viele Verpflichtungen! Genauso wenn man darauf achtet, nicht in die Anbieterrolle zu rutschen!
Welche Pflichten sich aus den anderen Gesetzen ergeben
KI-Systeme unterliegen den selben rechtlichen Anforderungen wie andere Systeme und menschliche Entscheidungsträger, was die Einhaltung von Datenschutz-, Gleichbehandlung- und anderen Gesetzen angeht. Diese Vorgaben ergänzen daher die KI-Verordnung! Denn sie stellen für KI an einigen Stellen besondere Herausforderungen dar. Welche das sind und wie ihr diesen begegnen könnt, klären wir für euch hier.
- Jede Verarbeitung personenbezogener Daten (PBD) durch KI-Systeme unterliegt der DS-GVO
- Die KI-Verordnung ergänzt die DS-GVO spezifisch für KI-bezogene Risiken, ersetzt sie aber nicht. KI-Systeme müssen die DS-GVO vollumfänglich einhalten, zusätzlich zu den Anforderungen der KI-Verordnung
- In der DS-GVO stehen keine speziellen Regelungen für KI, es gelten also die allgemeinen Regeln, die auch sonst in Bezug auf Datenverarbeitung gelten
- Besondere Schwierigkeiten dabei:
- Indirekte PBD: Unter „personenbezogene Daten“ fallen nicht nur klar identifizierende Angaben (Name, Adresse), sondern auch Daten, bei denen eine Identifizierung „nur“ durch zusätzliche Informationen möglich ist. Beispiel: Eine Zahlencode oder ein Nutzer‐ID, die zunächst nicht direkt eine Person nennt, könnte durch Kombination mit anderen Daten doch Rückschlüsse erlauben.
- BD in einer KI „finden“: Es reicht nicht allein zu sehen, ob das Modell Namen speichert – relevant ist auch, ob durch Eingaben (Prompts) Nutzende selbst eine Person ermittelbar machen können. Beispiel: Nutzende geben in ein großes Sprachmodell „Wer ist Frau X, geboren am …?“ ein. Auch wenn das Modell nicht direkt den Namen speichert, könnte es dennoch Informationen liefern, die eine Person betreffen.
- Recht auf Löschen oder Ändern: PBD, die zum Training verwendet worden, können schwer aus dem Modell gelöscht oder geändert werden. Technisch ist das oft kaum möglich oder würde den Betrieb massiv beeinträchtigen. Die DS-GVO schreibt es jedoch vor.
- Betreibt ihr ein KI-System, prüft und dokumentiert immer, ob PBD darin verarbeitet werden oder generiert/rekonstruiert werden können.
- Achtung auch bei KI-Funktionen in gängigen Tools! Denn KI-Funktionen in Copilot, Adobe oder Google nutzen heißt meist: die Inhalte können an Server übermittelt werden, denn Adobe und co sind Cloud-basiert! Handelt es sich dabei um Inhalte mit PBD, ist es eine Datenverarbeitung – die DSGVO greift und ihr seid verantwortlich für ihre Einhaltung! Also: Besser nur dann KI-Funktionen nutzen, wenn es keine Inhalte mit PBD betrifft. Ist es dennoch notwendig, PBD zu verarbeiten, schaut euch die Regelungen des Anbieters genau an (Werden die Daten hochgeladen? Wo werden sie gespeichert? Was passiert damit?). Und wendet die Vorgaben der DS-GVO an! Eine Checkliste findet ihr im Praxisleitfaden KI & Datenschutz Bitkom insb. ab S. 14.
- Egal ob eigenes System, ChatGPT oder KI-Funktion: achtet immer darauf, dass die KI die Daten nicht für Trainingszwecke nutzt: bei ChatGPT ausstellen (Link), bei Auftragsdatenverarbeitung mit in den Vertrag aufnehmen, dass die Nutzung für Trainingszwecke nicht erlaubt ist etc.
- Generell gilt: KI-Tools vorziehen, die DS-GVO-konform sind.
Das Bundesdatenschutzgesetz (BDSG) und ggf. spezielle Datenschutzregelungen auf Landesebene ergänzen die DSGVO in Deutschland. Die Datenschutzkonferenz (DSK) arbeitet aktuell an Orientierungshilfen zur datenschutzkonformen Nutzung von KI.
Schaut mal bei unseren FAQs vorbei – hier gibt es noch ein paar praktische Beispiele!
- Ein Inhalt ist nach § 2 Abs. 2 UrhG urheberrechtlich geschützt, wenn eine persönliche geistige Schöpfung vorliegt. Das heißt: Der Inhalt muss von einem Menschen gestaltet sein und dessen Gedanken oder Gefühle in individueller Weise darstellen.
- Besonderheiten bei KI:
- KI braucht Daten – aber wem gehören die Daten!
Weiß ich, ob das KI-System, das ich nutzen will, urheberrechtlich geschützte Werke nutzt – und damit gegen die Rechte der Künstler:innen verstößt? Die KI-Verordnung erlaubt die Nutzung von urheberrechtlich geschützten Inhalten für das Training nur, wenn eine Erlaubnis vorliegt oder eine gesetzliche Ausnahme vorliegt – und diese Ausnahme findet sich im Urhebergesetz der EU mit dem sogenannten Text- und Datamining: sie erlaubt die grundsätzliche Verarbeitung, solange die Rechteinhaber:innen nicht widersprechen. KI-Anbieter müssen hier künftig dokumentieren, welche Daten sie für das Training genutzt haben.
- KI braucht Input – was darf ich reingeben?
Sobald (geschützte) Daten in ein KI-System eingegeben werden, gilt das als Vervielfältigung, das Urheberrecht greift. Damit dürfen urheberrechtlich geschützte Texte, Bilder oder andere Werke nur mit Erlaubnis der:s Urhebers:in eingegeben werden.
- KI erzeugt Output – wem gehören die Ergebnisse?
Nutzer:in
Programmierer:in
KI
Unternehmen
- Wer könnte Urheber sein? Nutzer:in: „Nein, die Nutzenden einer KI gilt nicht als Urheber:in. Allein das Eingeben eines Prompts – also einer Anweisung an die KI – reicht dafür nicht aus. Ein Prompt stellt lediglich eine Idee dar, und die Nutzenden können nicht vorhersehen, wie die KI diese konkret umsetzt. Nutzende treffen somit keine eigenen schöpferischen Entscheidungen..“ Programmierer:in: Nein, dafür müsste er:sie im Prozess der Programmierung individuelle Gestaltungsentscheidungen getroffen haben, an denen die einzelnen KI-Nutzenden nichts ändern können. Das ist bei den gängigen KI-Systemen nicht der Fall. Unternehmen hinter der KI: Nein, denn ein Unternehmen ist kein Mensch und kann nach deutschem Urheberrecht kein Urheber sein. Künstliche Intelligenz: Nein, denn eine KI ist kein Mensch und kann nach dem deutschen Urheberrecht kein Urheber sein, da nur menschliches Schaffen geschützt wird.“
- Aktuell ist davon auszugehen, dass es bspw. bei einem Bild, dass ihr mit ChatGPT und Co. erstellt, keine:n Urheber:in gibt, der Output ist nicht urheberrechtlich geschützt! Ihr habt aber somit auch keine Rechtsansprüche drauf.
- Wann ist der Output selbst problematisch?
Gleichzeitig kann es gegen das Urheberrecht von anderen Werken verstoßen – Kopieren ist nicht erlaubt, Imitation nur unter bestimmten Umständen und wenn es als eine eigenständige Schöpfung gilt. Inspiration ist i.d.R. gestattet. Das heißt konkret: Wenn KI-generierte Bilder und Texte einem bestehenden urheberrechtlich geschützten Werk ähneln (d.h. eine Wiedererkennbarkeit eines Werkes besteht) oder wenn ihr beispielsweise ein Vereinslogo von einer KI erstellen lasst, dieses einem bereits bestehenden Logo ähnelt, dann können Abmahnungen und Schadensersatzforderungen drohen – und ihr seid dafür haftbar! Außerdem sehen sich Ergebnisse durch gleiche Prompts oft sehr ähnlich und da kein urheberrechtlicher Schutz an den Inhalten besteht, könnten andere problemlos z. B. das gleiche Bild nutzen, was oftmals nicht gewünscht ist.
- KI braucht Daten – aber wem gehören die Daten!
- Schützt eure Daten:
- Eure eigenen, öffentlich gemachten Inhalte könnt ihr durch einen Nutzungsvorbehalt in maschinenlesbarer Form für Trainingszwecke sperren. Einen Nutzungsvorbehalt könnt ihr z. B. ins Impressum einfügen - wichtig ist, dass dieser maschinenlesbar ist, sodass die automatischen Crawler ihn “lesen” können.
- „Opt out“-Option in Tools wie ChatGPT nutzen – so könnt ihr größtenteils verhindern, dass eure Daten für das weitere Training der Modelle genutzt werden.
- Sichert eure Eingaben rechtlich ab:
- Prüft, ob das Material, das ihr eingebt, urheberrechtlich geschützt ist und wenn ja, dass ihr die Erlaubnis eingeholt und schriftlich festgehalten habt.
- Nutzt nur Material aus vertraulichen Quellen als Eingabe.
- Beachtet bei den Ergebnissen die Urheberrechte:
- Wie bereits erklärt sind KI-generierte Inhalte nicht selbst urheberrechtlich geschützt, d. h., KI-generierte Inhalte haben keine:n Urheber:in und man kann diese grundsätzlich verwenden, außer die Nutzungsbedingungen der KI sagen etwas anderes. I. d. R. darf der Output verwendet werden. Achtet dabei aber auf die Rechte Dritter:
- die Kopie eines geschützten Werkes ist nicht erlaubt (bspw. ist die Übersetzung auch eine Kopie, da zu wenig Abstand zum Ausgangswerk besteht, siehe hier UrhG)
- Prüft generierte Inhalte, ob sie evtl. einem anderen Werk zu sehr ähneln (z. B. durch die Rückwärtssuche Google Bilder, das Logo im DPMAregister vergleichen, Plagiatsscanner nutzen etc.)
- Auf Bilder mit echten Personen möglichst verzichten, da das Risiko, dass es sich um eine existierende Person handelt und damit Rechte Dritter verletzt werden, zu groß ist. Ggf. Menschen nur von hinten zeigen.
- Bestenfalls passt ihr eure KI-Erzeugnisse immer individuell an oder nutzt sie nur als Inspiration, d. h., nicht das erste generierte Bild benutzen sondern es durch weitere Prompts anpassen
- Wie bereits erklärt sind KI-generierte Inhalte nicht selbst urheberrechtlich geschützt, d. h., KI-generierte Inhalte haben keine:n Urheber:in und man kann diese grundsätzlich verwenden, außer die Nutzungsbedingungen der KI sagen etwas anderes. I. d. R. darf der Output verwendet werden. Achtet dabei aber auf die Rechte Dritter:
Im aktuellen AI-Act wird wenig zum Thema Urheberrecht gesagt – wir können aber davon ausgehen, dass es auch hier Entwicklungen zu gibt (auf dem laufenden bleiben – news checken!)
KI und weitere Vorgaben
KI und Produkthaftungsrichtlinie
Haftungsfragen rund um den Einsatz von KI sind komplex. Die Produkthaftungsrichtlinie der EU (PLD) enthält Regelungen zur Haftung des Herstellers für fehlerhafte Produkte. Die Überarbeitung der Richtlinie schließt nun auch Software und KI-Systeme ein, indem sie als Produkt eingestuft werden. Zudem zählen nun u.a. auch medizinisch anerkannte Beeinträchtigungen der psychischen Gesundheit zu den zu schützenden Rechtsgütern. In Deutschland liegt bereits ein Referentenentwurf zur Umsetzung vor, der das bisherige Produkthaftungsgesetz (ProdHaftG) modernisieren soll.
In der neuen PLD gibt es einen direkten Bezug zur KI-Verordnung: ein Produkt gilt dann als fehlerhaft, wenn es nicht die Sicherheit bietet, die in den zugehörigen Gesetzen vorgeschrieben ist. Das heißt für KI: die KI-Verordnung definiert (Mindest-)Vorgaben, die für die Sicherheit des Produktes sorgen sollen. Werden diese nicht eingehalten und kommt es zu einem Schaden, kann das Produkt nach der PLD als fehlerhaft angesehen werden – und die Verantwortlichen für die Einhaltung der Sicherheitsvorgaben aus der KI-Verordnung können haften. Daher:
- Mögliche Schäden durch eingesetzte KI im Blick haben:
- Prüft regelmäßig, welche Fehler oder Schäden durch die eingesetzte KI entstehen könnten.
- Testet die KI in einer sicheren Umgebung, bevor ihr sie im Alltag nutzt.
- Beobachtet die KI im laufenden Betrieb und dokumentiert Auffälligkeiten oder Fehlfunktionen.
- Legt fest, wer im Problemfall zuständig ist und wie schnell reagiert werden muss.
- Sorgt dafür, dass die Daten, die die KI nutzt, möglichst vollständig und korrekt sind.
- Beschreibt klar, in welchen Situationen die KI zuverlässig ist – und wo nicht.
- Die Verpflichtungen aus der KI-Verordnung (und allen anderen geltenden Gesetzen) einhalten und dies dokumentieren:
- Erfasst, welche Systeme ihr nutzt, wofür sie eingesetzt werden, wie sie funktionieren und macht eine Risikoeinordnung nach der KI-Verordnung (bspw. mit unserem Checker).
- Bestimmt eine verantwortliche Person, kennzeichnet automatisch erzeugte Inhalte und sorgt durch Schulungen dafür, dass alle Beteiligten verantwortungsvoll mit der KI arbeiten.
- Die nationale Umsetzung der PLD soll noch in diesem Jahr erfolgen – auch hier auf dem Laufenden bleiben.
KI und Antidiskriminierung
- Kernidee des Allgemeines Gleichbehandlungsgesetzes (AGG) ist es, dass niemand aufgrund geschützter Merkmale benachteiligt werden darf. Zu diesen Merkmalen gehören Geschlecht, Alter, Herkunft, Religion, Behinderung oder sexuelle Identität. Das Gesetz wird insbesondere in den Bereichen Beschäftigung, Berufsausbildung, Arbeitsbedingungen sowie Zugang zu Gütern und Dienstleistungen relevant.
- Es enthält zwar keine spezifischen KI-Vorschriften, die Anforderungen, ein System so zu gestalten, dass gesetzlich geschützte Gruppen nicht benachteiligt werden, trifft aber auf KI genauso zu. Wenn bspw. eine KI eine Stellenausschreibung generiert, die gegen das AGG verstößt, haftet die verantwortliche Person bzw. die Organisation dafür. Es drohen Schadensersatz bzw. Entschädigungen nach §15 AGG.
- Auch hier stehen wir durch die Besonderheiten der KI-Systeme (Link zu Themen) vor besonderen Herausforderungen: Anbieter (Entwickler) und Betreiber von KI-Systemen müssen darauf achten, dass die Trainingsdaten und Algorithmen fair und überprüfbar sind, um Diskriminierung zu vermeiden. Das ist jedoch nicht ganz einfach, da KI ihre Daten aus der Gesellschaft bekommt und Diskriminierung und Vorurteile nun mal (leider) Teil dieser sind und die Prozesse im Hintergrund oft nicht so einfach nachvollziehbar sind.
- Prüfung von KI-Entscheidungen und Ergebnisse:
- Prüft, ob die KI-Systeme Entscheidungen treffen könnten, die bestimmte Gruppen benachteiligen (z.B. nach Alter, Geschlecht, Herkunft, Behinderung)
- Ergebnisse (Outputs) immer auf diskriminierende Elemente hin prüfen
- Testläufe und Monitoring:
- Durchführung von Testläufen und kontinuierliches Monitoring sind notwendig, um unfaire Muster in KI-Systemen zu erkennen und zu korrigieren.
- Dokumentation:
- Dokumentiert die durchgeführten Prüfungen, um Transparenz und Nachweisbarkeit zu gewährleisten.
KI und digitale Dienste (DSA/DDG)
- Das Digitale-Dienste-Gesetz (DDG) setzt die EU-Richtlinie Digital Services Act (DSA) um, indem es die Um- und Durchsetzung der Vorgaben des DSA in Deutschland regelt
- Ziel ist es, ein sichereres und verantwortungsvolleres Online-Umfeld zu schaffen, die Nutzer:innenrechte zu schützen und die Verbreitung von Desinformationen zu verhindern.
- Der DSA richtet sich an Online-Plattformen und -Dienste wie Online-Marktplätze, Reiseportale und soziale Netzwerke, die ihre Dienste im EU-Binnenmarkt anbieten
- Er wird für KI relevant, wenn KI-gestützte Empfehlungsalgorithmen oder Moderationssysteme eingesetzt werden. Transparenzpflichten, Risikomanagement und Rechenschaftspflichten wirken sich direkt auf KI-Systeme aus, die Inhalte automatisch verarbeiten.
Betreibt ihr also eine Plattform (bspw. ein Forum, eine digitale Pinnwand, eine digitale Tauschbörse o.ä.), auf der sich Nutzende austauschen, etwas posten, Beiträge schreiben können usw., dann könnte für euch der DSA zutreffen. Setzt ihr dabei noch eine KI ein, gelten auch dafür die Verpflichtungen des DSA. Hierzu zählen u.a. ein Meldesystem für illegale Inhalte. Holt euch dazu unbedingt Informationen zum Gesetz, ggf. über eine Rechtsberatung!
KI und Barrierefreiheit
- Das Barrierefreiheitsstärkungsgesetz (BFSG) setzt die EU-Richtlinie European Accessibility Act (EAA) in Deutschland um.
- Auch hier gibt es keinen speziellen KI-Bezug, alle Regelungen treffen jedoch genauso auf KI zu. Wenn ihr also KI nutzt, die Inhalte erzeugt, Informationen bereitstellt oder Interaktionen ermöglicht, muss diese Nutzung barrierefrei zugänglich sein.
- Gestaltet alle KI-gestützten digitalen Angebote (Chatbots, Sprachassistenten oder automatisierte Übersetzungsdienste) barrierefrei, wie ihr es mit anderen öffentlich bereitgestellten Inhalten auch macht, also bspw. Alternativtexte für Bilder, die Nutzung verständlicher Sprache, Tastaturbedienbarkeit und Kompatibilität mit Screenreadern bereit etc.
- Kleiner Tipp: KI kann dabei unterstützen, diese Anforderungen zu erfüllen.
Alles, was wir nicht öffentlich ins Netz stellen dürften, hat in Generativer KI grundsätzlich erst einmal nichts verloren.