Schlagwort: Künstliche Intelligenz

ChatGPT und Datenschutz: Vorsicht bei der Eingabe personenbezogener Daten

Posted on by Christian Klos

Die Nutzung von ChatGPT kann einen Datenschutzverstoß darstellen, wenn personenbezogene Daten ohne Rechtsgrundlage in das Eingabefeld eingegeben und somit verarbeitet werden. Dies hat insbesondere für Unternehmen Auswirkungen, die ChatGPT oder ähnliche KI-Anwendungen automatisiert in ihre Prozesse integrieren.

Bei Datenschutzverstößen im Zusammenhang mit ChatGPT drohen Unternehmen empfindliche Bußgelder. Stellen Sie daher unbedingt sicher, dass Ihre Prozesse Datenschutz-compliant sind.

Vorsicht bei personenbezogenen Daten im ChatGPT-Eingabefeld

Bei jeglicher Verarbeitung personenbezogener Daten sind Sie verpflichtet, alle gültigen Datenschutzgesetze einzuhalten. Dafür benötigen Sie immer eine einschlägige Rechtsgrundlage. Personenbezogene Daten, die Sie in ChatGPT eingeben oder per API direkt übermitteln, werden für die Generierung einer Antwort herangezogen und können – abhängig von der genutzten Lizenz und Konfiguration – zusätzlich für Trainingszwecke gespeichert werden.

Verarbeiten Sie personenbezogene Daten ohne Rechtsgrundlage mit ChatGPT oder anderen KI-Anwendungen, liegt daher ein Datenschutzverstoß vor, der mit hohen Bußgeldern geahndet werden kann.

Das ist vor allem dann relevant, wenn Sie die KI in automatisierten Prozessen nutzen, bei denen Eingaben nicht einzeln von Mitarbeitern geprüft werden.

In der Praxis ist es zwar äußerst unwahrscheinlich, dass Aufsichtsbehörden oder Betroffene von möglichen Datenschutzverstößen direkt erfahren. Allerdings werden die Logs Ihrer Interaktionen mit ChatGPT gespeichert. Wird Ihr Unternehmen etwa zu einem späteren Zeitpunkt durch eine Aufsichtsbehörde überprüft, kann Ihnen auch dann noch ein Datenschutzverstoß nachgewiesen werden.

Lassen sich personenbezogene Daten mit ChatGPT überhaupt rechtssicher verarbeiten?

Die Verarbeitung personenbezogener Daten wird durch die DSGVO streng reguliert. Zum einen muss eine Rechtsgrundlage geschaffen werden, also z. B. eine explizite Einwilligung zur Verarbeitung von den Betroffenen eingeholt werden.

Zum anderen müssen dafür bereits im Vorhinein alle involvierten Prozesse und Programme transparent aufgeführt und entsprechend datenschutzkonform werden, wobei sichergestellt werden muss, dass bei jedem Schritt die Rechte der betroffenen Person und ihre Interessen am Schutz der eigenen Daten gewahrt bleiben.

Beim Einsatz von externen Dienstleistern bzw. Anwendungen für die Verarbeitung personenbezogener Daten muss mit diesen außerdem ein Auftragsverarbeitungsvertrag (AVV) geschlossen werden.

Möchten Sie ChatGPT bei der Verarbeitung von personenbezogenen Daten nutzen, ist es daher in jedem Fall notwendig, dass Sie die explizite Einwilligung dafür bei Betroffenen einholen, oder eine andere Rechtsgrundlage prüfen, und einen Auftragsverarbeitungsvertrag (AVV) mit dem Unternehmen OpenAI schließen.

Dies ist mit bestimmten Lizenzen wie etwa der Enterprise- oder der API-Lizenz tatsächlich möglich. Mit der Gratis- oder Pro-Version ist dies nach aktuellem Stand jedoch nicht möglich. Mit diesen können personenbezogene Daten daher in der Regel nicht rechtskonform verarbeitet werden.

Die Lizenzen mit AVV-Möglichkeit haben einen weiteren wichtigen Vorteil: Sie können hier die Datenverarbeitung zu Trainingszwecken deaktivieren. Dies ist eine notwendige Voraussetzung, da die Verarbeitung zu Trainingszwecken so undurchsichtig ist, dass eine datenschutzkonforme Nutzung hier praktisch ausgeschlossen werden kann. Sie müssen diese Option also in jedem Fall aktivieren, um Ihre Chancen auf eine datenschutzkonforme Nutzung zu erhalten.

Selbst unter Beachtung dieser Punkte bleiben jedoch Risiken. Beispielsweise ist kaum nachvollziehbar und obendrein unwahrscheinlich, dass fundamentale Datenschutzkonzepte wie etwa der Schutz von Daten Minderjähriger zur Anwendung kommen, die jedoch für Compliance zwingende Voraussetzung sind. Hier muss also unbedingt eine Bereinigung der Daten vor der Übermittlung an OpenAI stattfinden.

Im besten Fall stellen Sie ohnehin nur Daten für die KI bereit, die von sensiblen Daten wie Klarnamen bereinigt sind. Sie können stattdessen beispielsweise Codenamen verwenden und auf die Weitergabe von Daten, die für den verfolgten Zweck nicht notwendig sind, komplett verzichten.

Zuletzt gibt es noch das Risiko, dass das bislang gültige Datenschutzabkommen DPF zwischen der EU und den USA scheitert und die USA nicht weiter als sicheres Drittland gelten. Unternehmen müssten dann auf EU-Standardvertragsklauseln ausweichen und zusätzliche Schutzmaßnahmen implementieren.

Fazit: Die rechtskonforme Nutzung von ChatGPT zur Verarbeitung personenbezogener Daten ist nur unter bestimmten Voraussetzungen denkbar und unterliegt auch im besten Fall gewissen Risiken. In jedem Fall benötigen Sie eine Lizenz, mit der Sie einen gültigen AVV schließen und die Nutzung von Eingaben zu Trainingszwecken ausschließen können.

Sicherer fahren Sie damit, so wenig personenbezogene Daten wie möglich zu übertragen und diese nach Möglichkeit zu codieren. Aus Sicht der Datenschutz-Compliance ist es jedoch am sichersten, ganz auf die Verarbeitung personenbezogener Daten über ChatGPT zu verzichten.

ChatGPT & Compliance – grundsätzlich ein schwieriges Thema

Das Thema ChatGPT & Datenschutz ist schon seit vielen Jahren von Konflikten und Problemen geprägt, wobei hier zumeist die undurchsichtigen Praktiken von OpenAI zum Bezug von Trainingsdaten in Verdacht gerieten. Noch heute steht OpenAI aufgrund möglicher Datenschutzverstöße im Fokus europäischer Datenschutzbehörden.

Unternehmen, die ChatGPT nutzen, müssen indes noch weitere Herausforderungen bei der Herstellung von Compliance meistern. Vor allem urheberrechtliche Bedenken und die Einordnung in eine Risikoklasse nach KI-VO sind in diesem Zusammenhang besonders erwähnenswert.Mehr Infos zum rechtskonformen Einsatz von ChatGPT in Unternehmen erhalten Sie in unserem Beitrag: Meine Firma setzt ChatGPT ein, darf sie das?

Zum Kontaktformular

Zur Newsletter-Anmeldung

Besitzen Sie „KI-Kompetenz“? – FAQ zur weitreichendsten Pflicht der KI-VO

Posted on by Eilert Stamm

Wenn ein KI-System kein hohes Risiko aufweist und keinen besonderen Transparenzpflichten unterliegt, ergeben sich für den Betreiber eigentlich keine großen Verpflichtungen. Die große Ausnahme ist die „KI-Kompetenz“ (AI Literacy). Art. 4 KI-VO verlangt von den Anbietern und Betreibern von KI-Systemen, dass alle Personen, die „mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, über ein ausreichendes Maß an KI-Kompetenz verfügen.“ Hierbei handelt es sich um die universellste Pflicht aus der Verordnung.

KI-Kompetenz bezeichnet „die Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden.“ (Art. 3 Nr. 56 KI-VO)

Neue Hilfestellung der EU-Kommission

Aber was heißt KI-Kompetenz genau? Und was kommt auf die Unternehmen zu? Hierzu hat die EU-Kommission kürzlich erstmals eine umfangreiche FAQ-Übersicht veröffentlicht.

Für alle Unternehmen gilt:

  • Unternehmen müssen nachweislich sicherstellen, dass relevante Mitarbeiter über ein ausreichendes Maß an KI-Kenntnissen verfügen. Das Wissen muss aber nicht messbar sein, geprüft oder zertifiziert werden. Hier steht also der Prozess im Vordergrund.
  • Es kommt bei KI-Kompetenz nicht nur auf technisches Know-how an – auch ethische, rechtliche und gesellschaftliche Aspekte der KI-Nutzung sind Teil der geforderten Kompetenz.

Der richtige Weg dahin hängt sehr stark vom jeweiligen Setting des Einsatzes und Merkmalen des Unternehmens ab und wird diesen daher weitgehend freigestellt. Jedoch sollte der Umsetzungsprozess in jedem Unternehmen als Grundlage ein allgemeines Verständnis von KI innerhalb der Organisation sicherstellen:

Was ist KI? Wie funktioniert sie? Welche KI wird in unserer Organisation verwendet? Was sind ihre Chancen und Gefahren?

Konkretes Vorgehen

Um den Umsetzungsprozess erfolgreich zu gestalten, sollten Unternehmen daher folgende Fragen beantworten können:

  • Welche Rolle (Anbieter oder Betreiber von KI-Systemen) nehmen wir ein?
  • In welchen Kontexten setzen wir KI-Systeme ein? Welcher Zweck wird verfolgt?
  • Welche Risiken gehen von unseren KI-Systemen aus? Wie werden die Risiken eingedämmt?
  • Welches Vorwissen und welche Erfahrung können wir bei unseren Mitarbeitern in den unterschiedlichen Rollen voraussetzen? Welche Wissensbestände müssen noch zur Verfügung gestellt werden?

Auf der Grundlage der Antworten können die passenden Formate und der notwendige Aufwand der Kompetenzvermittlung bestimmt werden. Die EU-Kommission verweist daher auf die Notwendigkeit eines differenzierten Trainings. Mitarbeiter mit unterschiedlichen Rollen und unterschiedlichem Vorwissen werden unterschiedliche Maßnahmen brauchen, um das für ihre Rolle notwendige Maß an KI-Kompetenz zu erwerben. So muss nicht zwingend ein KI-Training erfolgen, wenn das Unternehmen davon ausgehen kann, dass Mitarbeiter aufgrund ihrer Ausbildung, Erfahrung und Einsicht in die Materie die notwendige Kompetenz bereits aufweisen. Ebenso kann es ausreichen, dass sich Mitarbeiter lediglich mit der Bedienungsanleitung eines KI-Systems vertraut machen.

Gleichzeitig darf diese Schwelle auch nicht zu niedrig angesetzt werden. Die EU-Kommission betont, dass auch beim einfachen Bereitstellen eines ChatGPT-Services die KI-Kompetenz sichergestellt werden muss, zum Beispiel um auf das häufige Halluzinieren hinzuweisen.

Empfehlenswerte Beispiele aus der Unternehmenspraxis stellt die EU-Kommission in ihrem „Living Repository on AI Literacy“ zur Verfügung. Die öffentliche geförderten European Digital Innovation Hubs (EDIHs), wie dieser hier, bieten gerade für KMU weitere Unterstützung.

Zertifikate oder Prüfungen werden nicht verlangt. Die Kommission empfiehlt aber die interne Dokumentation von Trainings und anderen Maßnahmen, um gegebenenfalls gegenüber den Behörden die Nachweise erbringen zu können. Denn die zuständige Behörde kann bei Verstößen auch Bußgelder verhängen.

Grundsätzlich bietet es sich an, allen Beschäftigten Zugang zu einer allgemeinen KI-Schulung zu verschaffen und sodann speziellere Schulungsbedarfe zu identifizieren.

Fazit

Sicherstellung der KI-Kompetenz ist die am weitesten geltende Pflicht aus der KI-VO. Die Umsetzung hängt stark von den Bedingungen des einzelnen Unternehmens ab. Ein Unternehmen braucht wiederum Klarheit zu grundlegenden Fragen, um die Kompetenzvermittlung sicherstellen zu können.

Sie wollen wissen, wie Sie diese Klarheit in Ihrem Unternehmen erlangen? Sie wollen eine Richtlinie für Ihr Unternehmen aufsetzen?

Sie wollen eine Schulung für Ihre Mitarbeiter konzipieren lassen oder die Schulungen von extern durchführen lassen? Wir bieten allgemeine e-Learnings an und gestalten gemeinsam mit Ihnen individuelle Präsenz- oder Online-Formate, die genau auf Ihre Bedürfnisse passen.

Sprechen Sie uns an, wir unterstützen Sie gerne. Sie wollen zu den weiteren Entwicklungen der KI-VO-Compliance auf dem Laufenden bleiben? Abonnieren Sie unseren Newsletter.

Deepfakes und KI-VO: Täuschend echt und verboten?

Posted on by Eilert Stamm

„Wir verwenden KI-generierte Bilder von Personen für eine Werbekampagne. Gibt es da Auflagen nach der KI-VO?“ Ungefähr so erreichte uns eine Anfrage. Und die Antwort dürfte überraschen: Möglicherweise gelten tatsächlich Auflagen, wenn es sich bei den Bildern nach der KI-VO um Deepfakes handelt. Moment… Deepfake? Das ist doch, wenn eine KI-generierte Darstellung von Elon Musk zum Erwerb von Krypto-Tokens auffordert oder Taylor Swift in pornographischen Videos auftaucht? Deepfakes werden also per se böswillig eingesetzt. Somit kann es unsere Firma nicht betreffen. Oder doch?

Der Begriff Deepfake in der KI-Verordnung

Die Definition eines Deepfake in der KI-VO ist überraschend ausladend, denn Art. 3 Nr. 60 KI-VO definiert Deepfake als

„durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“

Somit umfasst die Definition nicht nur das oben skizzierte, wohl vorherrschende, Verständnis von Deepfakes, sondern auch subtilere Formen von KI-generierten Inhalten.

Bezogen auf Bilder gilt nach der KI-VO eine Darstellung also als Deepfake, wenn sie die folgenden Kriterien erfüllt:

  1. Das Bild muss durch ein KI-System erstellt oder verändert worden sein.
  2. Das Bild muss so gestaltet sein, dass es einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheint.
  3. Das Bild muss einer existierenden Person, einem Gegenstand, einem Ort, einer Einrichtung oder einem Ereignis ähneln.

Enge Auslegung

Damit nicht jede realitätsnahe Abbildung, die mittels KI erzeugt wurde, als Deepfake klassifiziert wird, hat der Gesetzgeber die Bedingung der „existierenden Person“ (bzw. Ort, Einrichtung, Ereignis) eingefügt. Beim Beispiel von KI-generierten Werbebildern ergibt sich daraus das folgendes Muster:

  • Darstellung einer realen Person in einer generischen Darstellung eines Gebäudes: wahrscheinlich Deepfake
  • Darstellung einer KI-generierten Abbildung einer echten Person im Audimax der Humboldt-Uni: Deepfake
  • Darstellung einer KI-generierten Person in einem generischen Hörsaal: kein Deepfake

Diese Interpretation basiert bereits auf einer engen Auslegung des Begriffs „Deepfake“ und folgt der Auslegung der Verwaltung des Deutschen Bundestages. Eine mögliche weite Auslegung, der zufolge auch das dritte Beispiel unter Deepfake fiele, wird derzeit unseres Wissens in der Literatur nur erwähnt, jedoch nicht explizit vertreten.

Konsequenzen

Deepfake nach KI-VO ist also deutlich mehr, als der allgemeine Sprachgebrauch nahelegen würde. Aber was folgt daraus? Nach Art. 50 Abs. 4 KI-VO muss der Betreiber eines KI-Systems offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Hier wäre also eine Kennzeichnung der Werbung nötig, welche auf den Einsatz von KI hinweist. Spätestens nach dem Wirksamwerden dieser Vorschrift am 2. August 2026 werden wir uns an häufige kleine Hinweise in Werbeanzeigen und anderen Darstellungen gewöhnen müssen.

Sie benötigen Unterstützung bei der Einordnung und Kennzeichnung Ihrer KI-generierten Inhalte? Sie wollen sicherstellen, dass sie die Vorgaben der KI-VO rechtzeitig auf dem Schirm haben? Sprechen Sie uns an und abonnieren Sie gerne unseren Newsletter.

KI-Schulungen her, Emotionsanalyse weg – Erste Regelungen der KI-VO anwendbar

Posted on by Eilert Stamm

Die KI-VO ist im August letzten Jahres in Kraft getreten. Während die Mehrzahl der Vorgaben aus der KI-VO erst am 2. August 2026 anwendbar werden, gelten die ersten Regelungen bereits seit 2. Februar dieses Jahres.  Für Unternehmen sind hierbei insbesondere zwei Aspekte relevant. Zum einen müssen Unternehmen schon jetzt die KI-Kompetenz ihrer Mitarbeiter sicherstellen, zum anderen ist der Einsatz von KI-Systeme, die ein unzumutbares Risiko aufweisen, ab sofort verboten.

Schauen wir uns das im Einzelnen an.

KI-Kompetenz

Gemäß Art. 4 KI-VO müssen Unternehmen sicherstellen, dass ihre Mitarbeiter „über ein ausreichendes Maß an KI-Kompetenz“ verfügen, wenn Sie mit KI-Systemen arbeiten. Ob die gegebene Kompetenz ausreichend ist, bemisst sich dabei sowohl an deren Wissen als auch am Verwendungskontext.

Hier kommt auf Unternehmen also ein Schulungsaufwand zu. Es geht nicht nur um technische Fragen des Systems, sondern auch um mögliche Auswirkungen für Datenschutz und Urheberrecht oder mögliche inhärente Diskriminierung. Daher müssen Unternehmen schon jetzt wissen, wie KI-eingesetzt wird, welche Auswirkungen KI haben kann, ob das alle betroffenen Mitarbeiter in Gänze verstehen und mit welchen Maßnahmen mögliche Defizite behoben werden können.

Verbotene Systeme

Die zweite wichtige Regelung bezieht sich auf das Verbot von KI-Systemen, welche gemäß Art. 5 KI-VO ein unzumutbares Risiko für die Betroffenen darstellen.  Details zur Risikoeinstufung finden Sie in diesem Beitrag. Dieses Verbot erstreckt sich explizit auf die Verwendung solcher Systeme, die bereits im Einsatz sind. In den anderen Vorgaben beschränkt sich die KI-VO zumeist auf die Regulierung des Inverkehrbringens (also z. B. das Verkaufen) eines KI-Produkts und die Inbetriebnahme (also den Einsatz eines Systems) und lässt gemäß seiner Konzeption als Produktsicherheitsgesetz die Verwendung außen vor.

Was heißt das für Unternehmen?

Die KI-VO verbietet vom Wortlaut her „Praktiken“, keine KI-Systeme. Allerdings kann eine „Praxis“ auch das Verwenden eines KI-Systems sein, welches z. B. Manipulationstechniken einsetzt.

Art. 5 Abs. 1 KI-VO zählt acht Praktiken auf, von denen die meisten nur für staatliche Stellen oder Unternehmen mit sehr speziellen und teilweise ethisch höchst fragwürdigen Geschäftsmodellen relevant sind.

Es bestehen aber zwei Ausnahmen, denn verboten sind auch das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, wenn sie Folgendes leisten:

  • Erstens Profiling, sofern dies zum Nachteil eines Betroffenen führen kann und diese Schlechterstellung unverhältnismäßig ist oder in keinem Zusammenhang zum Umstand der Datenerhebung stehen. Verboten ist Profiling aber nur, wenn weitere Bedingungen wie Datenerhebung über einen längeren Zeitraum erfolgt und die Daten in Zusammenhängen erhoben werden, die nicht auf einen definierten Zweck bezogen sind. Dieses Verbot zielt primär auf die Unterbindung von „Social Scoring“ ab. Der Einsatz von KI zur Gewinnung von Kundenprofilen auf der Grundlage vorheriger Käufe etc. sind also weiterhin nicht verboten.
  • Zweitens Erkennen und Ableiten von Emotionen einer natürlichen Person am Arbeitsplatz oder in einer Bildungseinrichtung.

Insbesondere im zweiten Fall sind zahlreiche Use-Cases im HR-Bereich (Bewerbung und Assessment Center, Entwicklung von Führungskräften) denkbar, bei denen der Einsatz eines KI-Systems seit Anfang des Monats verboten ist.

Handlungsbedarf?

Unternehmen sollte daher jene Bereiche genau unter die Lupe nehmen, in denen Profiling und Emotionserkennung möglich sind. Unterschätzen Sie nicht, dass KI-Fähigkeit einer IT-Lösung auch erst lange nach Ausrollen des Systems durch ein Software-Upgrade zum Bestandteil eines Tools werden kann und dieser Umstand daher nicht immer in allen Dokumentationssystemen erfasst ist.

Dabei ist rechtlich derzeit nicht eindeutig geklärt, ob bereits die Fähigkeit eines Systems ausreicht, damit das System als Ganzes verboten ist, oder ob nur die tatsächliche Nutzung einer solchen Fähigkeit eines Systems ausschlaggebend ist. Eine Software-Suite eine US-Herstellers bietet ggfs. Features an, deren Einsatz nach Verständnis der KI-VO verboten sind, welche aber vom Unternehmen nicht genutzt werden. Daher sollten diese Features und Module in der Dokumentation genau abgegrenzt werden, damit die tatsächlich eingesetzten Funktionen nicht kompromittiert werden.

Über die Fortschritte in diesen Fragen werden wir sie auf dem Laufenden halten. Hier finden Sie außerdem druckfrisch die 140-seitigen Leitlinien der EU-Kommission zu den verbotenen KI-Systemen.

Sie wollten die KI-Kompetenz ihrer Mitarbeiter einschätzen oder notwendige Schulungen durchführen? Sie wollen feststellen, ob Ihr 360°-Persönlichkeitsbewertungs-Tool unter die Kategorie der verbotenen Systeme fällt? Sprechen Sie uns an. Sie wollen die wichtigen Entwicklungen im Bereich KI-Compliance im Auge behalten? Abonnieren Sie unseren Newsletter.

KI-VO: Wie funktioniert die Risikoeinstufung von KI-Systemen?

Posted on by Eilert Stamm

Die KI-VO verfolgt einen risikobasierten Ansatz. Zentral für diesen Ansatz ist die Einstufung der KI-Systeme bzw. der Anwendungszwecke in eine von vier Risikostufen: Inakzeptables Risiko, Hohes Risiko, Begrenztes Risiko und Minimales Risiko.

Die Einstufung eines KI-System erfolgt nach folgendem Schema:

Bei der Einstufung kann sowohl die Eigenschaft des KI-Systems selbst, der Verwendungszweck oder der Einsatzbereich ausschlaggebend für die Risikoeinstufung ein.

.

Risikoeinstufung von KI-Systemen; Flowchart AI systems
Abb. 1: Entscheidungsbaum Risikoeinstufung von KI-Systemen

Inakzeptables Risiko

Wenn ein KI-System oder Verwendungszweck in Art. 5 Abs. 1 KI-VO aufgeführt wird und somit unter die verbotenen Praktiken fällt, darf das KI-System nicht (bzw. nicht zu diesem Zweck) in Verkehr gebracht oder eingesetzt werden.

Art. 5 Abs. 1 KI-VO verbietet in erster Linie Praktiken bzw. Verwendungszwecke, und keine Systeme. Ein KI-System, welches Fähigkeiten im Sinne von Art. 5 Abs. 1 KI-VO aufweist, kann unter bestimmten Bedingungen rechtskonform eingesetzt werden. So sind KI-Systeme zum Ableiten von Emotionen nicht prinzipiell verboten, sondern nur deren Einsatz am Arbeitsplatz oder an Bildungseinrichtungen und nur sofern bestimmten Bedingungen vorliegen. Gleichzeitig zeichnen sich viele KI-Systeme dadurch aus, dass sie vielseitig verwendbar sind. KI-Systeme, die für die in Art. 5 Abs. 1 KI-VO genannten Praktiken eingesetzt werden könnten, aber zu anderen Zwecken verwendet werden, fallen ebenso nicht unter das Verbot. Selbst die von der KI-VO als besonders riskant bewerteten Systeme, „mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten“, dürfen unter sehr engen Voraussetzungen eingesetzt werden.

Hohes Risiko aufgrund des Einsatzbereichs

Anhang III führt verschiedene Bereiche auf, in denen der Gesetzgeber den Einsatz von KI als besonders risikobehaftet einschätzt. Soll ein System in einem der in Anhang III aufgeführten Bereich eingesetzt werden, gilt es nach Art. 6 Abs. 2 KI-VO als Hochrisiko-KI-System.

Bereiche mit besonderer Relevanz für privatwirtschaftliche Organisationen sind beispielsweise das Personalwesen, der Bildungsbereich, bestimmte Anwendungszwecke der Biometrie und der Bereich Kritische Infrastruktur. Nach Art. 6 Abs. 3 KI-VO kann die Hochrisikoeinstufung eines in den genannten Bereichen eingesetzten KI-Systems unterbleiben, wenn bestimmte risikomindernde Bedingungen vorliegen: Nämlich, wenn vom KI-System lediglich eng gefasste Verfahrensaufgaben übernommen, eine menschliche Tätigkeit lediglich verbessert, nicht Entscheidungen, sondern nur deren Evaluationen vorgenommen oder lediglich vorbereitende Aufgaben in den genannten Bereichen an das KI-System delegiert werden.

Eine Rückausnahme wurde vom Gesetzgeber übrigens aber für alle Aspekte des Profiling eingefügt.

Hohes Risiko aufgrund der Produkteigenschaft

Die zweite Option, die zu einer Einstufung als Hochrisiko-KI-System führt, stellt sich etwas komplexer dar. Diese bezieht sich auf KI-Systeme, die entweder selbst ein Produkt sind oder welche als Sicherheitsbauteil eines Produkts fungieren.

Im ersten Schritt muss geprüft werden, ob das KI-System als Produkt unter eine von zahlreichen, in Anhang I aufgeführten Harmonisierungsrechtsvorschriften fällt. Zu diesen Vorschriften gehören z. B. Richtlinie 2014/90/EU über Schiffsausrüstung, Richtlinie 2014/34/EU über Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen oder Verordnung (EU) 2017/745 über Medizinprodukte.

Im zweiten Schritt ist zu prüfen, ob dieses Produkt auf der Grundlage dieser Harmonisierungsrechtsvorschriften einer obligatorischen Konformitätsbewertung durch Dritte unterliegt.

Bei einem KI-System, welches z. B. als Medizinprodukt vertrieben werden soll, müsste der Hersteller somit zunächst eine Einstufung des Systems nach der Medizinprodukteverordnung vornehmen. Wenn diese Einstufung bedeutet, dass das Medizinprodukt eine Konformitätsbewertungsverfahren durch die „Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten“ durchlaufen muss, dann gilt dieses Produkt (oder das Sicherheitsbauteil) als ein KI-System mit Hohem Risiko.

Begrenztes und Minimales Risiko

Wenn das KI-System aufgrund der Produkteigenschaften, seines Einsatzbereiches oder seines Verwendungszwecks weder unter Art. 5 Abs. 1 KI-VO noch unter Anhang I oder III fällt, liegt ein „Begrenztes Risiko“ oder „Minimales Risiko“ vor.

Diese Terminologie wird in der KI-VO allerdings nicht unmittelbar verwendet und dementsprechend wird die Unterscheidung dort auch nicht operationalisiert. Vielmehr begründen begleitende Hinweise der EU-Kommission diese Systematik. Die EU-Kommission legt fest, dass KI-Systeme, die keine Hochrisiko-KI-Systeme sind, deren Verwendung bei unzureichender Transparenz aber mit Risiken für die Betroffenen verbunden sind, als Systeme mit Begrenztem Risiko einzustufen sind. So muss bspw. der Betreiber eines Chatbot die Nutzer darüber in Kenntnis setzen, dass sie mit einer Künstlichen Intelligenz interagieren und betreibt somit ein KI-System mit Begrenztem Risiko. Alle anderen KI-Systeme gelten dann als KI-Systeme mit Minimalem Risiko.

Änderungen

Der rasanten Entwicklung der KI-Technologie steht eine schwerfällige europäische Gesetzgebung gegenüber. Daher hat der Gesetzgeber der EU-Kommission die Befugnis eingeräumt, den Anhang III, der risikobehaftete Einsatzbereiche aufführt, anzupassen. Folgende Kriterien müssen dabei nach Art. 7 Abs. 2 KI-VO von der EU-Kommission für etwaige Anpassungen berücksichtigt werden:

  • Zweckbestimmung
  • Umfang des Einsatzes
  • Art und Umfang der verwendeten Daten
  • Autonomie des Systems
  • Risikogeschichte (bekannte Vorfälle)
  • Ausmaß eines möglichen Schadens
  • Abhängigkeit der Betroffenen von dem System (kein Opt-out)
  • Machtungleichgewicht zwischen Betreiber und Betroffenen sowie Auswirkung auf schutzbedürftige Personen
  • Wahrscheinlichkeit und Ausmaß des möglichen Nutzens
  • Risikomitigierung durch bestehende EU-Gesetze

Pflichten

Die Risikoeinstufung eines KI-Systems bringt jeweils eigene Auflagen und Pflichten mit sich.

Risikoeinstufung von KI-Systemen. Pflichten für Betreiber von KI-Systemen.
Tab. 1: Risikostufen und verbundene Pflichten

Die besonderen Pflichten für Betreiber und Anbieter von Hochrisikosystemen haben wir bereits in unserem letzten Post beleuchtet.

.

Sie wollen ihre KI-Systeme der richtigen Risikostufe zuordnen? Oder Sie wollen nach einer solchen Einstufung die notwendigen Compliance-Maßnahmen ergreifen? Sprechen Sie uns gerne an.

Um zum Thema KI-VO auf dem Laufenden zu bleibend, abonnieren Sie einfach unseren Newsletter.

Konkrete Hinweise zum Vorgehen bei der Risikoeinstufung nach KI-VO erhalten Sie auch in unserem Webinar am 3. Dezember 2024. Hier geht es zur Anmeldung.

Apple Intelligence: Datenschutz und KI?

Posted on by Christian Klos

Nun setzt auch Apple auf Künstliche Intelligenz. Konkret nennt sich das neue Feature „Apple Intelligence“ und wurde diese Woche auf der Entwicklermesse WWDC vorgestellt. Es soll mit dem neuen Update auf iOS 18 ausgerollt und damit dann auf iPhones, iPads und Macs verfügbar sein. Aber sind Datenschutz und KI vereinbar? Apple brüstet sich regelmäßig damit, mit den Daten seiner Nutzer besonders sorgsam umzugehen. Für den Konzern ist das ein verkaufsförderndes Argument. Aber passt das auch zu der neuen Kooperation mit OpenAI, welche künftig auf fast allen Apple-Geräten verfügbar sein wird? Wir haben uns auf Basis der bislang bekannten Informationen schlau gemacht und geben erste Tipps.

Das ist Apple Intelligence

Andere Tech-Unternehmen sind bereits vorangegangen und haben KI-Features, beziehungsweise das, was sie als Künstliche Intelligenz verstehen oder verkaufen, in ihre Produkte integriert. Prominentestes Beispiel im geschäftlichen Bereich dürfte der Copilot von Microsoft sein.

Nun hat Apple angekündigt nachzuziehen und sein neues Produkt „Apple Intelligence“ auf der Entwicklermesse WWDC vorgestellt. Dies ist eine ganze Suite von Anwendungen und Erweiterungen, welche auf Apple-Geräten verfügbar sein wird. Hierzu gehört die Einbindung von Textgenerierung zur Erstellung eigener oder Verbesserung bestehender Texte in diversen iOS und Mac Apps, Bildgenerierung, smarte Taschenrechner, ein Update des elektronischen Sprachassistenten Siri und vieles mehr. Weiterhin wird ChatGPT integriert, sodass der Dienst nicht mehr über eine separate App aufgerufen werden muss.

Apple ist hierfür eine Kooperation mit dem Anbieter von ChatGPT, OpenAi, eingegangen. So werden viele der Anwendungen auf den KI-Modellen des amerikanischen KI-Pioniers basieren.

Verfügbar sein werden die neuen Dienste ab Herbst und zunächst nur in englischer Sprache. Sie werden als Beta-Version mit dem neuen iOS18, iPadOS18 und macOS Sequoia ausgerollt. Im Laufe des kommenden Jahres sollen dann weitere Sprachen und Features ergänzt werden. Voraussetzung wird zudem sein, dass der Nutzer im Besitz eines iPhone 15 Pro (Max), iPad oder Mac mit M1 Chip oder neuer ist. Die Anzahl möglicher Nutzer wird damit im ersten Schritt doch deutlich begrenzt.

Datenschutz mitgedacht?

Der iPhone-Hersteller begnügt sich nicht damit, seine Geräte und Software technisch auf ein neues Level zu heben, sondern verkündet auch sehr selbstbewusst, dass mit Apple Intelligence ein „neuer Standard für Datenschutz bei KI“ geschaffen werde. Dies soll unter anderem dadurch umgesetzt werden, dass die erforderlichen Datenverarbeitungen vornehmlich direkt auf dem Endgerät des Nutzers stattfinden. Bei komplexeren Anfragen (was immer das bedeutet), werden allerdings Daten in eine Cloud übermittelt. Apple sichert dabei allerdings hohe Standards in Sachen Datenschutz und -sicherheit zu und nennt das Konzept „Private Cloud Compute„. Innerhalb dieser Lösungen soll besonders sichere Hardware zum Einsatz kommen, welche durch unabhängige Experten überprüfbar sein soll.

In Apple´s Security Blog wird dieses Konzept genauer erläutert. Und wir müssen zugestehen, dass der Anbieter sich in technischer Hinsicht durchaus Gedanken gemacht hat, wie man den Nutzern eine sichere Lösung anbieten kann. Wer sich das Konzept ansieht, wird feststellen, dass Apple dort vor allem Cloud-spezifische Sicherheitsrisiken identifiziert hat und im Stile einer Datenschutzfolgenabschätzung risikomindernde Gegenmaßnahmen beschreibt, die zum Einsatz kommen sollen. Wie Microsoft bei dem kommerziellen Datenschutz für Copilot, sagt Apple auch zu, dass Prompts und Output nicht dauerhaft auf deren Servern gespeichert werden.

Aus unserer Sicht ein begrüßenswerter und vielversprechender Ansatz, KI sicher zum Einsatz zu bringen. Eine genaue Analyse der Maßnahmen muss natürlich noch vorgenommen werden.

Was allerdings weiterhin Bauchschmerzen bereitet, ist, dass Apple für die meisten Nutzer keine datenschutzrechtlich erforderliche Auftragsverarbeitungsvereinbarung für seine Cloud-Dienste zur Verfügung stellt. Unserer Kenntnis nach ist dies nur mit dem Business Manager Vertrag möglich und auch dort nicht zufriedenstellend gelöst. Weiterhin ist bislang unklar, wie Betroffenenrechte und weitere Anforderungen der DSGVO umgesetzt werden können, wenn mit den neuen KI-Tools personenbezogene Daten Dritter verarbeitet werden.

Erste Empfehlungen

Apple-Geräte kommen in vielen Unternehmen für geschäftliche Zwecke zum Einsatz. Jedes Unternehmen sollte sich daher frühzeitig damit auseinandersetzen, wie diese „DSGVO-fest“ gemacht werden können. Dies betrifft nicht nur die Zukunft mit dem neuen Apple Intelligence, sondern muss schon heute in Bezug auf Dienste wie iCloud sichergestellt werden. Eine Übermittlung geschäftlicher Daten an Apple-Server sollte so weit wie mögliche durch zentrale Vorgaben verhindert werden, oder diese muss sicher verschlüsselt sein. Ohne ein modernes Mobile Device Management („MDM“) kommt man hier nicht weiter. Die Konfiguration sollte mit einem Datenschutzexperten abgestimmt und dokumentiert werden.

Datenschutz und KI ist machbar. Ob es bei Apple Intelligence funktionieren wird, können wir derzeit noch nicht sagen. Wir sind zwar vorsichtig optimistisch, aber eine Prüfung im Einzelfall sollte jedes Unternehmen vor dem Einsatz durchführen.

Wenn Sie immer auf dem neusten Stand in Sachen Datenschutz und KI bleiben möchten, abonnieren Sie einfach unseren Newsletter.

Just in: Neue KI-Orientierungshilfe der Datenschutzbehörden

Posted on by Eilert Stamm

Die Datenschutzkonferenz hat am 06. Mai 2024 eine Orientierungshilfe zur Auswahl, Implementierung und Nutzung von bestimmten KI-Lösungen veröffentlicht.

Die Datenschutzkonferenz (DSK) ist ein gemeinsamer Ausschuss der Datenschutzbehörden von Bund und Ländern. Und die Orientierungshilfe ist genau das; sie ist weder Gesetz noch behördliche Anordnung, sondern sie soll Leitplanken aufzeigen. In diesem Fall sogar mit Datenschutz-Poesie (wen’s interessiert, siehe Seite 13 unten).

Die Orientierungshilfe richtet sich dabei vornehmlich an Anwender von Large Language Models (LLM). Sie wiederholt dabei einerseits vieles Bekanntes aus der DSGVO-Compliance (Rechtsgrundlage, Zweckbindung, Datenschutzfolgenabschätzung usw.). Und reflektiert andererseits Vorgaben der neuen EU KI-Verordnung. Der Natur einer Orientierungshilfe der DSK entsprechend, handelt es sich in erster Linie um eine mit praktischen Beispielen unterfütterte Erörterung von zu vermeidenden oder zu minimierenden Risiken aus Aufsichtssicht. Hier anhand der Prozessschritte Konzeptionierung, Implementierung und Nutzung von KI-Systemen.

Wir fassen nachstehend die Kernthemen zusammen, die die DSK beschreibt. Und destillieren die Handlungsempfehlungen aus den 15 Seiten Orientierungshilfe zur leichteren… Orientierung, worauf Behörden Wert legen. Denn viel Neues ist für diejenigen, die das Thema bereits verfolgen, leider nicht dabei.

Risiken von LLM aus Sicht der DSK

Risiko KI-System allgemein

Vor der Verwendung von LLM sollten Unternehmen sich mit den Einsatzfeldern (zulässig/unzulässig, mit personenbezogenen Daten/ohne Personenbezug), den Einsatzzwecken und den datenschutzrechtlichen Rechtsgrundlagen, (gemeinsame?) Verantwortlichkeiten und Risiken (auch ob es sich um besondere Kategorien personenbezogener Daten, wie Gesundheitsdaten handelt) auseinandersetzen und Datenschutzbeauftragte und ggfs. Betriebsräte einbinden und umfangreich informieren.

So weit, so logisch für diejenigen mit einem vorhandenen Datenschutz-Management. Und daher hier auch nicht weiter ausgeführt.

Dann wird es interessant. Die DSK wünscht nämlich im Lichte von festgestellten Risiken möglicherweise Unmögliches:

Risiko Diskriminierung / Bias

Hier warnt die DSK insbesondere vor „geerbten“ Herausforderungen: Denn auch wenn der Anwender einer KI keine Informationen über die Datensätze hat, mit denen diese trainiert wurde, muss er trotzdem sicherstellen, dass sich mögliche Fehler oder Verzerrungen des KI-Systems nicht auf seine Datenverarbeitung auswirken. Wird z. B. eine KI im Recruiting zur Unterstützung bei der Bewerberauswahl eingesetzt, darf sich ein möglicher Bias zu Lasten bestimmter Gruppen, der in den Trainingsdaten angelegt ist, nicht auf die Bewerber auswirken, die diesen Gruppen angehören.

Risiko Fehler und Halluzination

Da insbesondere LLM unzutreffende Informationen in einer sehr überzeugenden Form präsentieren und – je nach KI-System – halluzinieren, sich also eine Antwort ausdenken, sollten die (personenbezogenen) Daten aus dem Output eines KI-Systems mit einer angemessenen Skepsis verarbeitet werden. Und – hier wird es spannend – sie sollten auch nachhaltig korrigiert werden können. Die DSK schlägt hierfür ein Nachtraining der KI vor. Das setzt allerdings voraus, dass man als bloßer Anwender des LLM diese Eingriffsmöglichkeit überhaupt hat.

Risiko Datendynamik

Ein LLM zeichnet sich auch durch die besondere Fähigkeit aus, Informationen zu verknüpfen. Das ist einerseits gerade ein Vorteil, andererseits ein Risiko. Wie löscht man in einem solchen System, das jederzeit Daten neu verknüpfen und zuvor gelöschte Bezüge wieder herstellen kann? Nach DSK soll daher sichergestellt werden, dass Datenlöschung (z. B. wegen Begehrs eines Betroffenen) effektiv ist. Zwar verweist die DSK hierbei auf verschiedene angebliche Möglichkeiten der wirksamen Umsetzung innerhalb der KI-Systeme, nennt diese jedoch leider nicht. Dafür empfiehlt sie dem Output nachgestellte Filter als die Rechtewahrung zumindest ansatzweise unterstützende Behelfsmittel.

Risiko offene KI-Systeme

Insgesamt präferiert die DSK – womöglich aufgrund der häufigen Unmöglichkeiten, als Anwender auf Training, Korrekturen, oder Löschungen Einfluss zu nehmen – die Nutzung von geschlossenen Systemen, bei welchen die Datenverarbeitung in einer eingegrenzten und technisch abgeschlossenen Umgebung (des Unternehmens) erfolgt. Also, derartige KI-Systeme, wie sie in manchen Großunternehmen bereits entwickelt wurden, die auf bestehenden LLM aufbauen, mit eigenen Daten zusätzlich trainiert wurden und über welche insofern mehr Kontrolle besteht. (Noch) keine Lösung allerdings für den Großteil der deutschen Wirtschaft, die auf offene Systeme setzen werden wird, um nicht den Anschluss zu verlieren.

Vor offenen Systemen warnt die DSK ähnlich der vielen Datenschutzexperten seit der „Geburt“ von ChatGPT. Hier also nichts Neues: Achtung, man teilt sich das offene KI-System sozusagen mit Unbekannten. Eine unzulässige Änderung des Zweckes für die Verarbeitung der personenbezogenen Daten bei Verwendung im weiteren KI-System auch für Dritte ist daher möglich. Und natürlich der Zugang von Unbefugten zu etwaig eingegebenen personenbezogenen Daten. Nicht zuletzt, da Personenbezug auch unerkannt für den Ersteingebenden durch weitere Datenanreicherung bei Zugang der KI zum Internet hergestellt werden könnte.

Praktische Empfehlungen der KI-Orientierungshilfe

Um die beschriebene Risikolage zu beherrschen, Missbrauchspotenzial und das Risiko riskanter Anwendung zu minimieren, empfiehlt die DSK die nachfolgend aufgeführten praktischen Maßnahmen:

Vor Anwendung

  • Geschlossene KI-Systeme statt offene wählen, soweit möglich. Sofern offene KI-Systeme genutzt werden wollen/müssen, wählen Sie nach Möglichkeit solche, die Business Accounts vorhalten, da diese oft bessere Steuerungsmöglichkeiten und ein höheres Vertraulichkeitsniveau bieten.
  • Klare Regeln für die Beschäftigen aufstellen und dazu sensibilisieren. Dies sollte u. E. übergeordnet im Hinblick auf eine KI-Strategie erfolgen (Was wollen wir damit erreichen? Wie machen wir KI für uns nutzbar? Was machen wir damit definitiv nicht?) sowie auf die einzelnen KI-Systeme bezogen.
  • Ggfs. eine KI-spezifische Betriebsvereinbarung mit dem Betriebsrat vereinbaren oder bestehende Vereinbarungen um KI-Aspekte erweitern.
  • Lektüre der KI-spezifischen Empfehlungen des Bundesamtes für Sicherheit in der Informationstechnik (BSI) (Hinweis: Der Link im DSK-Papier funktioniert nicht).

Bei Anwendung

  • Insbesondere bei offenen LLM-Systemen betriebliche oder anonymisierte Accounts für die Beschäftigen erstellen.
  • Eine klare Trennung von privater und beruflicher Verwendung von LLM durchsetzen (s.o. Regelwerk).
  • Die Verarbeitung von Eingabedaten zu Trainingszwecken unterbinden (soweit im jeweiligen KI-System möglich).
  • Die Speicherung von Eingabe‐Historien über eine Sitzung hinaus abstellen oder abwägen, ob das Speichern nicht der Transparenz halber zugelassen werden soll (soweit im jeweiligen KI-System möglich).
  • Die Prüfung von Output-Ergebnissen auf Richtigkeit / Plausibilität.
  • Das automatische Veröffentlichen von Ausgabedaten unterbinden (soweit im jeweiligen KI-System möglich).
  • Das Nachschalten von Output-Filtern zur Wahrung des Rechts zur Löschung bei unmöglicher Löschung im KI-System selbst (soweit möglich).

Die meisten dieser Handlungsempfehlungen sollten leicht umzusetzen sein, bei einigen kommt es auf die dem jeweiligen KI-System inhärenten Steuerungsmöglichkeiten für die Anwender an.

Als abschließend sind diese Empfehlungen nicht zu erachten (Stichwort: Orientierung). Insbesondere sollten die KI-Verordnung und die Angaben der KI-Systemherstellerangaben herangezogen werden und die Entwicklung der Best Practice im Rahmen von Expertenrunden, Veröffentlichungen oder dem einfachen Austausch im Kollegenkreis beobachtet werden.

Wenn Sie sich unsicher sind, wie Sie in Ihrem Unternehmen das Management von Datenschutz und KI am besten vereinen, beraten wir Sie gern. Kontaktieren Sie uns einfach hier.

Sie möchten über die neusten Entwicklungen hinsichtlich Datenschutz und KI-Compliance auf dem Laufenden bleiben? Dann abonnieren Sie gerne unseren Newsletter!

Investment Fonds: Gefahren im Portfolio minimieren durch Datenschutz- und KI-Due-Diligence

Posted on by Ina Rothe

Nicht nur über eigene Datenverarbeitungen und Nutzung von Künstlicher Intelligenz müssen sich Investment Fonds Gedanken machen oder über jene der von ihnen beauftragten Dienstleister. Auch im Investment-Portfolio lauern mitunter unberücksichtigte Risiken. Diese können nicht nur zu finanziellen Einbußen beim Investment führen, durch Massenschadenersatzklagen etwa oder hohe Bußgelder. Im schlimmsten Fall sorgen sie für Reputationsverluste, wenn die Investoren in jedem Medienbericht zu einem Datenschutzvorfall beim Portfoliounternehmen mitgenannt werden. Wie zuletzt geschehen bei Urban Sports Club. Auch können unerkannte Datenschutz- oder Künstliche-Intelligenz-Risiken Markteintritte verzögern oder ganz verhindern und ein Investment somit gesamtheitlich gefährden.

.

Wer sind die Risikoträger?

Mindestens wer prominent, mehrheitlich oder gar gesamtheitlich investiert, sollte sich daher im Rahmen der Investment Due Diligence neben der Einhaltung von anderen rechtlichen Verpflichtungen, wie ESG oder Geldwäsche, auch intensiv mit den Datenschutz- und KI-Risiken im Portfolio auseinandersetzen.

Speziell solche Fonds, die einen strategischen Schwerpunkt auf digitale Anwendungen legen, in welchen personenbezogene Daten verarbeitet werden, sollten daher ihre Zielunternehmen bzw. deren Produkte und Dienstleistungen genauer unter die Lupe nehmen.

Wo liegen die Risiken?

Insbesondere dann, wenn besondere Kategorien personenbezogener Daten im Produkt, z. B. einem Online-Tool oder einer App, verarbeitet werden sollen. Dazu gehören Daten zum Gesundheitszustand, biometrische Daten, politische, religiöse oder sexuelle Orientierung oder ethnische Zugehörigkeit. Aber auch bei Produkten mit KI oder Anteilen von KI, die erhebliche u. a. datenschutzrechtliche Risiken bergen können, ist regelmäßig von erhöhten Risiken auszugehen. Speziell z. B. bei KI-unterstützen Anwendungen im Personal- oder Gesundheitswesen oder bei KI-Komponenten für regulierte technische Produkte oder Dienstleistungen. Geringere Risiken können angenommen werden bei Portfolio- oder Zielunternehmen, welche nicht-digitale Waren, wie z. B. vegane Lebensmittel oder Textilien, herstellen.

Auch die Frage danach, wessen Daten mit dem Produkt verarbeitet werden sollen, ist risikoentscheidend: Handelt es sich bspw. um eine App für das Kindergartenmanagement oder für vulnerable Zielgruppen, z. B. Menschen mit psychischen Beeinträchtigungen, ist die besondere Schutzwürdigkeit der Anspruchsgruppen zu berücksichtigen.

Je mehr dieser besonderen Kategorien von personenbezogenen Daten und/oder Daten von besonders schutzwürdigen Personengruppen also vom Portfoliounternehmen durch deren Angebote verarbeitet werden, desto größer auch die Gefahr für den investierenden Fonds, dass Datenschutzverletzungen besonders kritische Folgen haben können, die auf den Fonds durchschlagen könnten. Dabei ist es unerheblich, ob die Datenpanne ihren Ursprung in interner Fahrlässigkeit oder krimineller Energie von extern, Stichwort Cyber Crime, hat.

Im Hinblick auf KI ist zudem zu überprüfen, ob die eingesetzte KI überhaupt erlaubt oder etwa ein Hochrisiko-KI-System nach der EU KI-Verordnung ist (die ca. Mai 2024 in Kraft treten soll). Letztere unterliegen unter Umständen umfangreichen Anforderungen, die investitionsentscheidend sein können.

Wie minimiert man die Risiken?

Daher sollte im Rahmen einer Investment Due Diligence geprüft werden  

  • welche datenschutzrechtlichen Risiken dem Zielunternehmen strukturell inhärent sind, z. B. wenn viele Dienstleister im nicht EU-Drittland eingebunden sind oder in solchen Ländern Niederlassungen bestehen
  • welche datenschutz- und/oder KI-rechtlichen Risiken das Produkt / die Dienstleistung und die Zielgruppe des Zielunternehmens gegebenenfalls birgt und ob aufgrund erhöhter Risiken eventuell sogar Abstimmungen mit der zuständigen Datenschutzaufsicht oder KI-Zertifizierungen erforderlich sein könnten (die ggfs. auch Auswirkungen auf Product-Launch-Deadlines haben)
  • ob ein betrieblicher Datenschutzbeauftragter ernannt wurde, sofern erforderlich, und ob es eine zentrale Stelle für das KI-Management gibt
  • ob ein Datenschutz- und KI-Managementsystem (auch in integrierter Form) vorhanden ist, das den gesetzlichen Vorgaben und ermittelten Risiken gerecht wird und diese so minimieren hilft.

Im Idealfall hat das Zielunternehmen diese Punkte selbst erwogen und danach gehandelt. Oft aber und in Abhängigkeit von der Einbindung und Steuerungsmöglichkeit durch den investierenden Fonds wird es nötig sein, nach erfolgtem Investment solche Impulse erst ins Unternehmen zu geben.

Fazit

Fonds sollten ihre eigene Investmentstrategie daraufhin untersuchen, ob bereits hier Datenschutz- oder KI-Risiken, die vom Portfolio ausgehen könnten, erkennbar sind.  Insbesondere wenn der Investitionsschwerpunkt in Richtung digitale Anwendungen, vulnerable Zielgruppen oder Hochrisiko-KI-Systeme geht, sollten Fonds ihre Investment Due Diligence um Prüfungen zu Datenschutz und Künstlicher Intelligenz erweitern. Soweit möglich, sollten sie auch während der Haltephase als Investor risikoorientiert auf Datenschutz, Datensicherheit und KI-Sicherheit beim Portfoliounternehmen Einfluss nehmen.

Ideale Helfer, wie aus der allgemeinen Investment Due Diligence bekannt, sind hierbei Checklisten. Kontaktieren Sie uns gern, wenn wir Sie mit einer Muster-Checkliste zur Datenschutz- und/oder KI-Due-Diligence, die sich leicht in vorhandene Checklisten integrieren lässt, unterstützen können.

Möchten Sie über die neusten Entwicklungen bei Datenschutz und KI-Compliance auf dem Laufenden bleiben? Dann abonnieren Sie einfach unseren Newsletter.

KI-Compliance: Rechtssicherheit in der Ära der künstlichen Intelligenz

Posted on by Christian Klos

Das Wichtigste im Überblick:

  • Two Towers Consulting bietet umfassende rechtliche Beratung zur Implementierung KI-konformer Compliance-Systeme
  • KI-Compliance ist entscheidend für den rechtssicheren Einsatz von KI-Technologien in Unternehmen
  • Hauptherausforderungen sind Datenschutz, Diskriminierungsvermeidung und Transparenz von KI-Systemen

Jetzt Angebot anfordern!

In einer Welt, in der künstliche Intelligenz (KI) zunehmend Einzug in Unternehmensprozesse hält, stehen Unternehmen vor der Herausforderung, innovative Technologien zu nutzen und gleichzeitig rechtliche und ethische Standards einzuhalten. KI-Compliance ist dabei der Schlüssel, um die Potenziale der KI voll auszuschöpfen, ohne rechtliche Grenzen zu überschreiten oder Reputationsrisiken einzugehen.

Die Komplexität der rechtlichen Anforderungen im Bereich KI verunsichert viele Unternehmen. Datenschutzverletzungen, mögliche Diskriminierung durch KI-Systeme oder mangelnde Transparenz in KI-gestützten Entscheidungsprozessen sind nur einige der Risiken, die es zu adressieren gilt. Als erfahrene Wirtschaftskanzlei mit Fokus auf Compliance-Recht unterstützt Two Towers Consulting Sie dabei, diese Herausforderungen zu meistern und KI-Technologien rechtssicher in Ihrem Unternehmen zu implementieren.

Rechtliche Grundlagen der KI-Compliance

Die neue EU-KI-Verordnung („KI-VO“; engl.: „AI Act“) ist politisch durch und wird noch in den nächsten Monaten in Kraft treten. Die tatsächliche Anwendbarkeit der einzelnen Vorgaben aus der KI-VO ist zeitlich gestaffelt. Während die Verbote von KI-Systemen mit inakzeptablen Risiken bereits sechs Monate nach Inkrafttreten der Verordnung greifen, werden die meisten Normen in zwei Jahren anwendbar sein. Die rechtlichen Rahmenbedingungen für den Einsatz von KI-Technologien sind vielschichtig und entwickeln sich stetig weiter. Zu den wichtigsten Regelwerken zählen:

  1. Die EU-Verordnung über Künstliche Intelligenz (KI-Verordnung)
  2. Die Datenschutz-Grundverordnung (DSGVO)
  3. Das Allgemeine Gleichbehandlungsgesetz (AGG)
  4. Branchenspezifische Regulierungen

Zentrale Herausforderungen der KI-Compliance

1. Rechtliche Einordnung von KI-Anwendungen

Die korrekte rechtliche Einordnung verschiedener KI-Anwendungen ist der erste Schritt zu einer effektiven Compliance-Strategie. Je nach Einsatzgebiet und Funktionsweise der KI können unterschiedliche rechtliche Anforderungen gelten. 

2. Transparenz und Erklärbarkeit von KI-Systemen

Eine der größten Herausforderungen im Bereich KI-Compliance ist die Gewährleistung von Transparenz und Erklärbarkeit. KI-Systeme müssen nachvollziehbar und ihre Entscheidungen erklärbar sein. Dies ist nicht nur eine rechtliche Anforderung, sondern auch entscheidend für das Vertrauen in KI-gestützte Prozesse. 

3. Verantwortlichkeiten bei KI-gestützten Entscheidungen

Wer trägt die Verantwortung, wenn eine KI eine fehlerhafte Entscheidung trifft? Diese Frage ist zentral für die rechtliche Absicherung beim Einsatz von KI. 

4. Datenschutz-Compliance in KI-Projekten

KI-Systeme basieren oft auf der Verarbeitung großer Datenmengen, was besondere datenschutzrechtliche Herausforderungen mit sich bringt. Die Einhaltung der DSGVO und anderer datenschutzrechtlicher Bestimmungen ist unerlässlich. 

5. Vermeidung von KI-induzierter Diskriminierung

KI-Systeme können unbeabsichtigt diskriminierende Entscheidungen treffen, wenn sie mit voreingenommenen Daten trainiert wurden. Die Vermeidung solcher Diskriminierungen ist nicht nur ethisch geboten, sondern auch rechtlich verpflichtend. 

Jetzt Angebot anfordern!

Handlungsempfehlung: Unternehmensinterne KI-Richtlinie

Bis zur Anwendbarkeit der meisten Normen in zwei Jahre, sollten Unternehmen die Zeit nutzen, um möglichst viel aus den Möglichkeiten der KI-Transformation herauszuholen, aber dabei stets compliant zu bleiben.

Ein besonders wichtiges Instrument für das Management von KI-Compliance ist eine unternehmensinterne KI-Richtlinie. Mit einer KI-Richtlinie können Unternehmen eine belastbare Governance-Struktur etablieren und Standards und Strategien für den Einsatz von KI-Systemen festlegen. Somit schafft eine KI-Richtlinie Klarheit und Erwartbarkeit für die Belegschaft und ermutigt Mitarbeiter, innovative Projekte mit Hilfe von KI-Technologie zu verfolgen. Gleichzeitig schützt eine gut gestaltete und erfolgreich implementierte Richtlinie vor den vielfältigen Risiken, die durch den Einsatz von KI in den Bereichen Informationsschutz, Urheberrecht, Datenschutz, Produktsicherheit etc. auftreten können.

Eine KI-Richtlinie muss daher immer mehrere Ziele verfolgen. Dazu gehört insbesondere, die Mitarbeiter zum Einsatz von KI-Systemen zu ermutigen und Innovation im Unternehmen zu fördern. Gleichzeitig müssen die rechtlichen Vorgaben aus KI-VO, DSGVO etc. eingehalten, der Schutz von Betriebsgeheimnissen und weiteren vertraulichen und sensiblen Information des Unternehmens sichergestellt, und der Schutz der Rechtsgüter Dritter (Datenschutz, immaterielle Güter wie Urheberecht und Patente, Auskunftsansprüche) garantiert werden. Da sich hier regelmäßig Spannungsfelder ergeben, muss eine KI-Richtlinie klar definieren, nach welchem Leitbild und Prinzipien KI-Systeme im Unternehmen entwickelt und eingesetzt werden dürfen.

Auf der operativen Ebene muss ein KI-Richtlinie im Unternehmen Klarheit über eingesetzte Systeme, damit verfolgte Zwecke und die damit verbundenen Abhängigkeiten und Beziehungen herstellen sowie Abläufe, Verantwortlichkeiten, Aufgaben und Rollen klarstellen. Für einen erfolgreichen Einsatz muss die KI-Richtlinie Bewusstsein für Risiken und Chancen schaffen und dabei nicht nur diese Risiken eindämmen, sondern auch vermeiden, dass Mitarbeiter aus übergroßer Vorsicht auf den Einsatz von KI-Systemen verzichten. Daher muss die notwendige Wissensvermittlung (KI-Kompetenz) eine Zielstellung der KI-Richtlinie sein. Ergänzt werden muss dies durch zusätzliche Schulungen der Beschäftigten. Gleichzeitig muss die Richtlinie ermöglichen, dass die notwendige Transparenz sowohl intern also auch gegenüber externen Betroffenen wie Kunden, Geschäftspartnern oder Bewerbern gegeben ist.

Um diese Ziele zu erreichen, sollte eine KI-Richtlinie zumindest das Folgende regeln:

  • Erfassen und Dokumentieren der eingesetzten KI-Systemen: Hierbei muss auch geklärt werden, wie das Unternehmen damit umgeht, wenn Softwareanbieter ihre Produkte nachträglich mit KI-Technologie anreichern, sowie es Microsoft mit dem Copilot vorgenommen hat.
  • Nutzung frei verfügbarer KI-Angebote
  • Sicherstellung und Bewertung der Zuverlässigkeit des Outputs von KI-Systemen
  • Risikoeinstufung von KI-Systemen und Durchführen von Risk Assessments
  • Umgang mit KI-Systemen, die als Hoch-Risiko eingestuft wurden
  • Ablauf für das Entwickeln oder Einführen eines neuen KI-Systems
  • Vorgaben für die Evaluation bestehender KI-Systeme
  • Erkennen und Mitigieren von Risiken für das Unternehmen
  • Erkennen und Mitigieren von Risiken für Dritte
  • Umgang mit Betroffenenrechten und Beschwerdemanagement
  • Vorgaben für Training und Wissensvermittlung
  • Vorgaben für die Sicherstellung der Transparenzverpflichtungen

Das Thema Haftung wird selbstverständlich auch eine wichtige Rolle spielen. Hierzu wird der KI-VO bald eine EU-KI-Haftungsrichtlinie an die Seite gestellt werden. Für diese Richtlinie existiert bisher ein Entwurf der EU-Kommission. Sobald die EU-KI-Haftungsrichtlinie in deutsches Recht umgesetzt wurde, sollte die bisherige interne KI-Governance-Struktur noch einmal überprüft werden.

KI-Systeme werden bereits jetzt umfangreich in allen Unternehmen genutzt und entwickelt. Compliance-Verantwortliche sollten also keine Zeit verlieren, denn bereits heute muss dabei geltendes Recht eingehalten werden.

KI-Compliance als Wettbewerbsvorteil

KI-Compliance ist mehr als nur die Erfüllung rechtlicher Anforderungen. Ein proaktiver und ganzheitlicher Ansatz zur KI-Compliance kann zu einem echten Wettbewerbsvorteil werden. Er schafft Vertrauen bei Kunden, Mitarbeitern und Geschäftspartnern, minimiert rechtliche und finanzielle Risiken und ermöglicht es Ihrem Unternehmen, die Potenziale von KI voll auszuschöpfen.

Two Towers Consulting steht Ihnen als erfahrener Partner zur Seite, um Ihre KI-Anwendungen rechtssicher und ethisch einwandfrei zu gestalten. Unsere Kombination aus technischem Verständnis und rechtlicher Expertise im KI-Bereich ermöglicht es uns, maßgeschneiderte Lösungen zu entwickeln, die Ihr Unternehmen für die Herausforderungen der KI-Ära rüsten.

Lassen Sie uns gemeinsam Ihre KI-Compliance-Strategie entwickeln und umsetzen. Kontaktieren Sie uns für ein kostenloses Erstgespräch, in dem wir Ihre spezifischen KI-Compliance-Herausforderungen analysieren und erste Lösungsansätze skizzieren. 

Praktische Tipps für Ihre KI-Compliance

Um Ihnen den Einstieg in eine effektive KI-Compliance zu erleichtern, haben wir einige praktische Tipps zusammengestellt:

1. Führen Sie regelmäßige KI-Risikobewertungen durch

Etablieren Sie einen Prozess zur regelmäßigen Überprüfung und Bewertung der Risiken Ihrer KI-Systeme. Nutzen Sie dafür eine strukturierte Checkliste, die alle relevanten rechtlichen und ethischen Aspekte abdeckt.

2. Dokumentieren Sie KI-Entscheidungsprozesse

Implementieren Sie ein System zur lückenlosen Dokumentation aller KI-gestützten Entscheidungsprozesse. Dies erhöht nicht nur die Transparenz, sondern erleichtert auch die Nachvollziehbarkeit im Falle von Überprüfungen oder Streitigkeiten.

3. Etablieren Sie ein KI-Ethik-Board

Ein internes KI-Ethik-Board kann bei der Bewertung ethischer Fragen im Zusammenhang mit KI-Anwendungen unterstützen und zur Entwicklung unternehmensweiter Richtlinien für den ethischen Einsatz von KI beitragen.

4. Schulen Sie Ihre Mitarbeiter

Regelmäßige Schulungen zum Thema KI-Compliance sensibilisieren Ihre Mitarbeiter für potenzielle Risiken und befähigen sie, compliant mit KI-Systemen zu arbeiten.

5. Bleiben Sie auf dem Laufenden

Die rechtlichen Rahmenbedingungen für KI entwickeln sich ständig weiter. Stellen Sie sicher, dass Ihr Unternehmen über Veränderungen informiert bleibt und Ihre Compliance-Strategie entsprechend anpasst.

Jetzt Angebot anfordern!

Unsere KI-Beratungsleistungen

Künstliche Intelligenz transformiert Unternehmen und Anwendungen grundlegend. Viele Organisationen berücksichtigen bereits ethische Aspekte bei KI-Projekten – eine gute Basis für die Umsetzung rechtlicher Vorgaben.

Die EU-KI-Verordnung setzt nun weltweit Maßstäbe mit verbindlichen Regeln für Entwickler und Anwender. Zusätzlich sind weitere Gesetze wie die DSGVO zu beachten. Jedes Unternehmen muss sich mit diesen Anforderungen auseinandersetzen.

Wir unterstützen Sie dabei, diese Vorgaben pragmatisch und effizient in Ihre Abläufe zu integrieren. Unsere Experten aus Recht und Compliance helfen Ihnen, regulatorische Risiken zu minimieren und gleichzeitig Ihr Kerngeschäft nicht zu beeinträchtigen.

Unser Leistungsspektrum umfasst:

  • Entwicklung eines KI-Compliance-Frameworks
  • Mapping relevanter Anforderungen
  • KI-Schulungen zur Förderung der „AI Literacy“
  • Durchführung von Assessments und Erstellung erforderlicher Dokumentation
  • Umsetzung datenschutzkonformer KI-Lösungen

Mit unserem ganzheitlichen Ansatz bleiben Sie bei KI-Projekten rechtlich auf der sicheren Seite, ohne Ihre Organisation zu überlasten. Mehr Informationen finden Sie hier.

Wir beraten Sie gern. Sprechen Sie uns an. Ihnen gefallen unsere Entscheidungsbäume und Sie wollen keine relevanten Entwicklungen im Bereich der KI-Regulierung verpassen? Abonnieren Sie unseren Newsletter, um in Sachen KI und Datenschutz stets auf dem aktuellen Stand zu bleiben.

Häufig gestellte Fragen

KI-Compliance bezeichnet die Einhaltung rechtlicher und ethischer Standards beim Einsatz von KI-Technologien in Unternehmen. Dies umfasst Aspekte wie Datenschutz, Nicht-Diskriminierung, Transparenz und Verantwortlichkeit bei KI-gestützten Entscheidungen.

Zu den wichtigsten Regelwerken zählen die EU-Verordnung über Künstliche Intelligenz, die DSGVO, das AGG sowie branchenspezifische Regulierungen. Die genauen Anforderungen hängen vom Einsatzbereich und der Art der KI-Anwendung ab.

Wichtig sind regelmäßige Überprüfungen der Trainingsdaten und Ergebnisse auf Voreingenommenheit, die Implementierung von Fairness-Metriken und die Diversifizierung der Entwicklungsteams. Unsere Experten unterstützen Sie bei der Entwicklung geeigneter Strategien.

KI-Systeme sollten umfassend dokumentiert werden, einschließlich der verwendeten Daten, Algorithmen, Trainingsmethoden und Entscheidungsprozesse. Dies dient der Transparenz und erleichtert mögliche behördliche Überprüfungen.

Wir empfehlen, mindestens jährlich eine umfassende KI-Risikobewertung durchzuführen. Bei signifikanten Änderungen am System oder relevanten rechtlichen Entwicklungen sollten zusätzliche Bewertungen erfolgen.

Ein KI-Ethik-Board ist ein internes Gremium, das ethische Fragen im Zusammenhang mit KI-Anwendungen bewertet und Richtlinien entwickelt. Für Unternehmen mit umfangreichen oder sensiblen KI-Anwendungen kann ein solches Board sehr sinnvoll sein.

Die Strafen können je nach Verstoß und anwendbarem Recht erheblich variieren. Sie reichen von Bußgeldern über Schadensersatzforderungen bis hin zu Reputationsschäden und behördlichen Auflagen.

Regelmäßige Schulungen, klare Richtlinien und eine offene Kommunikationskultur sind entscheidend.

Eine proaktive Strategie minimiert rechtliche und finanzielle Risiken, schafft Vertrauen bei Stakeholdern, erleichtert behördliche Prüfungen und kann zu einem Wettbewerbsvorteil werden.

KI-Verordnung nimmt nächste Hürde

Posted on by Christian Klos

Wie in der letzten Wasserstandsmeldung angekündigt, steht bei der KI-Verordnung eigentlich nur noch die Verabschiedung durch das EU-Parlament aus. Diese Entscheidung wird durch die zwei Ausschüsse „Bürgerliche Freiheiten, Justiz und Inneres“ (LIBE) und „Binnenmarkt und Verbraucherschutz“ (IMCO) vorbereitet. Mittlerweile haben beide Ausschüsse dem derzeitigen Entwurf zugestimmt und die Abstimmungsvorlage als offizielles Arbeitsdokument der EU öffentlich gemacht. Somit gibt es jetzt endlich auch eine einigermaßen lesbare Version des Entwurfs, die von der EU selbst veröffentlicht wurde. Eine redaktionelle Anpassung ist allerdings weiterhin unvermeidlich. Die 171 Erwägungsgründe haben weiterhin nur 89 Ordnungsnummer und es gibt weiterhin „Art. 3 Nr. 44 (bh)“ wodurch sich der Entwurf auch in ordentlich formatierter Form noch schwer lesen lässt.

Inhaltlich sieht es so aus, als würde sich das bestätigen, was bislang bekannt ist. Die wesentlichen Eckpunkte hatten wir in unserem letzten Beitrag zu diesem Thema dargestellt. Im Laufe des weiteren Gesetzgebungsprozesses können sich natürlich weitere Anpassungen ergeben.

Wir halten Sie dazu weiter auf dem Laufenden. Abonnieren Sie gerne unseren Newsletter, um nichts zu verpassen.

Einige Inhalte der KI-Verordnung werden bereits im Jahr 2024 umzusetzen sein. Was Sie als Unternehmen tun müssen und wie ein Brückenschlag zu den verwandten Themen des Datenschutzrechts gelingt, zeigen wir Ihnen in unserem kostenlosen Webinar am 12. März 2024. Melden Sie sich hier direkt an.