Schlagwort: AI Act

Deepfakes und KI-VO: Täuschend echt und verboten?

Posted on by Eilert Stamm

„Wir verwenden KI-generierte Bilder von Personen für eine Werbekampagne. Gibt es da Auflagen nach der KI-VO?“ Ungefähr so erreichte uns eine Anfrage. Und die Antwort dürfte überraschen: Möglicherweise gelten tatsächlich Auflagen, wenn es sich bei den Bildern nach der KI-VO um Deepfakes handelt. Moment… Deepfake? Das ist doch, wenn eine KI-generierte Darstellung von Elon Musk zum Erwerb von Krypto-Tokens auffordert oder Taylor Swift in pornographischen Videos auftaucht? Deepfakes werden also per se böswillig eingesetzt. Somit kann es unsere Firma nicht betreffen. Oder doch?

Der Begriff Deepfake in der KI-Verordnung

Die Definition eines Deepfake in der KI-VO ist überraschend ausladend, denn Art. 3 Nr. 60 KI-VO definiert Deepfake als

„durch KI erzeugten oder manipulierten Bild-, Ton- oder Videoinhalt, der wirklichen Personen, Gegenständen, Orten, Einrichtungen oder Ereignissen ähnelt und einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheinen würde“

Somit umfasst die Definition nicht nur das oben skizzierte, wohl vorherrschende, Verständnis von Deepfakes, sondern auch subtilere Formen von KI-generierten Inhalten.

Bezogen auf Bilder gilt nach der KI-VO eine Darstellung also als Deepfake, wenn sie die folgenden Kriterien erfüllt:

  1. Das Bild muss durch ein KI-System erstellt oder verändert worden sein.
  2. Das Bild muss so gestaltet sein, dass es einer Person fälschlicherweise als echt oder wahrheitsgemäß erscheint.
  3. Das Bild muss einer existierenden Person, einem Gegenstand, einem Ort, einer Einrichtung oder einem Ereignis ähneln.

Enge Auslegung

Damit nicht jede realitätsnahe Abbildung, die mittels KI erzeugt wurde, als Deepfake klassifiziert wird, hat der Gesetzgeber die Bedingung der „existierenden Person“ (bzw. Ort, Einrichtung, Ereignis) eingefügt. Beim Beispiel von KI-generierten Werbebildern ergibt sich daraus das folgendes Muster:

  • Darstellung einer realen Person in einer generischen Darstellung eines Gebäudes: wahrscheinlich Deepfake
  • Darstellung einer KI-generierten Abbildung einer echten Person im Audimax der Humboldt-Uni: Deepfake
  • Darstellung einer KI-generierten Person in einem generischen Hörsaal: kein Deepfake

Diese Interpretation basiert bereits auf einer engen Auslegung des Begriffs „Deepfake“ und folgt der Auslegung der Verwaltung des Deutschen Bundestages. Eine mögliche weite Auslegung, der zufolge auch das dritte Beispiel unter Deepfake fiele, wird derzeit unseres Wissens in der Literatur nur erwähnt, jedoch nicht explizit vertreten.

Konsequenzen

Deepfake nach KI-VO ist also deutlich mehr, als der allgemeine Sprachgebrauch nahelegen würde. Aber was folgt daraus? Nach Art. 50 Abs. 4 KI-VO muss der Betreiber eines KI-Systems offenlegen, dass die Inhalte künstlich erzeugt oder manipuliert wurden. Hier wäre also eine Kennzeichnung der Werbung nötig, welche auf den Einsatz von KI hinweist. Spätestens nach dem Wirksamwerden dieser Vorschrift am 2. August 2026 werden wir uns an häufige kleine Hinweise in Werbeanzeigen und anderen Darstellungen gewöhnen müssen.

Sie benötigen Unterstützung bei der Einordnung und Kennzeichnung Ihrer KI-generierten Inhalte? Sie wollen sicherstellen, dass sie die Vorgaben der KI-VO rechtzeitig auf dem Schirm haben? Sprechen Sie uns an und abonnieren Sie gerne unseren Newsletter.

KI-Risikoklassen: Pflichten für Unternehmen

Posted on by Christian Klos

Mit der KI-Verordnung (KI-VO), auch EU AI-Act genannt, hat die Europäische Union einen weltweit einzigartigen Vorstoß für die Regulierung von Künstlicher Intelligenz (KI) verabschiedet, um deren Nutzung in Einklang mit geltendem EU-Recht zu ermöglichen. Gleichzeitig sollen damit die in der EU hohen Standards wie etwa im Bereich Datenschutz vollumfänglich bewahrt werden.

Ein zentrales Element dabei ist die Einteilung in verschiedene KI-Risikoklassen. Unternehmen, die KI etwa für die Effizienzsteigerung von Prozessen nutzen möchten, sollten daher im Vorfeld die Einordnung ihrer spezifischen Anwendung gründlich prüfen, um rechtzeitig Maßnahmen zur Einhaltung der Compliance einleiten zu können.

Wird eine KI als hochrisikobehaftet eingestuft, sind die Pflichten für Unternehmen besonders umfangreich. Wir fassen die verschiedenen KI-Risikoklassen und die damit verbundenen Pflichten zusammen und geben nachfolgend einen Überblick über die möglichen Konsequenzen für betroffene Unternehmen.

Der EU AI-Act und die Risikoklassen

Der AI-Act unterscheidet grundsätzlich vier verschiedene KI-Risikoklassen:

  1. Inakzeptables Risiko (Artikel 5 KI-VO)
  2. Hohes Risiko (Artikel 6 KI-VO)
  3. Begrenztes Risiko (Artikel 50 KI-VO)
  4. Minimales Risiko

Diese Klassifizierung folgt dem Grundsatz, dass die regulatorischen Anforderungen proportional zur potenziellen Gefährdung durch das KI-System steigen, sofern diese nicht durch die Verordnung verboten werden. Bei Hochrisiko-KIs im Speziellen werden dabei weitreichende Anforderungen für Anbieter, Betreiber, Einführer und Händler der entsprechenden Systeme gestellt.

Die genannten Risikoklassen hatten wir bereits in einem vorherigen Beitrag behandelt, wir fassen die wichtigsten Erkenntnisse noch einmal zusammen und gehen insbesondere näher auf die damit verbundenen Pflichten für Unternehmen ein.

Inakzeptables Risiko (Artikel 5 KI-VO)

Der AI-Act verbietet bestimmte KI-Anwendungen, die als unzumutbare Risiken für Einzelpersonen oder die Gesellschaft eingestuft werden. Beispiele dafür sind Anwendungen, die sehr tief in die Grundrechte von Betroffenen eingreifen oder bei denen das Schadenspotenzial unangemessen hoch wäre. Dazu gehören:

  • Manipulative KI-Techniken, die das Verhalten von Nutzern unbewusst beeinflussen (z. B. unterschwellige psychologische Manipulation, auch Dark Patterns genannt).
  • Soziale Bewertungssysteme (Social Scoring) durch private oder staatliche Akteure, die Personen auf Basis ihres Verhaltens systematisch bewerten.
  • Biometrische Identifikation in Echtzeit in öffentlichen Räumen, mit wenigen Ausnahmen für sicherheitsrelevante Zwecke.
  • Einsatz von KI zur Massenüberwachung ohne angemessene rechtliche Kontrolle.
  • Einsatz von KI zur Verhaltensvorhersage durch Strafverfolgungsbehörden, wenn dies allein auf Grundlage persönlicher Eigenschaften oder Merkmale (Profiling) erfolgt.

Das Inverkehrbringen bzw. die Nutzung solcher KI-Systeme ist damit innerhalb der EU verboten. Bei Missachtung drohen Strafen in Höhe von 35 Millionen Euro oder bis zu 7 % des weltweiten Jahresumsatzes.

Hohes Risiko (Artikel 6 KI-VO)

Hochrisiko-KI im Sinne der KI-VO umfasst Anwendungen, die erhebliche Auswirkungen auf die Grundrechte oder die Sicherheit von Menschen haben können, bei denen jedoch unter Einhaltung strenger Vorgaben eine rechtskonforme Entwicklung bzw. Nutzung möglich ist. Beispiele hierfür sind:

  • KI in kritischen Infrastrukturen (Energie, Verkehr, Wasserversorgung, Gesundheitswesen).
  • KI zur Personalrekrutierung oder -bewertung, z. B. automatisierte Bewerberauswahl.
  • KI zur Kreditvergabe, die die Bonitätsbewertung beeinflusst bzw. Zugriff auf Daten zur Kreditwürdigkeit hat.
  • KI in der Justiz und Strafverfolgung, z. B. zur Risikoanalyse von Straftätern.

Weitere Bereiche, für die KI-Systeme automatisch als hochrisikobehaftet eingestuft werden, werden in den Anhängen zur KI-VO aufgeführt.

Unternehmen sollten außerdem darauf achten, dass auch eine nicht generell als hochriskant eingestufte KI je nach Nutzungsart (Art 25 Abs. 1 lit. c) oder durch in der Zukunft liegende Updates des Anbieters als Hochrisiko-KI eingestuft werden kann.

Die Einstufung als Hochrisiko-KI hat für Unternehmen, die mit diesen arbeiten, weitreichende Konsequenzen. Die Verordnung unterscheidet hier zwischen Entwicklern, Händlern, Einführern und Betreibern, für die jeweils eigene Bestimmungen gelten.

Für Betreiber im Speziellen können diese Pflichten wie folgt grob zusammengefasst werden:

  • Nutzende Unternehmen müssen sich an Betriebsanleitungen halten und die Funktionsweise stetig überwachen.
  • Es muss eine adäquat dafür qualifizierte menschliche Aufsicht für die KI existieren. Die KI darf nicht autonom operieren.
  • Natürliche Personen müssen bei Entscheidungen, die Hochrisiko-KI über diese treffen, informiert werden.
  • In bestimmten Fällen müssen Anbieter oder Betreiber zusätzlich Prüfungen auf etwaige Auswirkungen auf Grundrechte durchführen.

Unternehmen müssen insbesondere prüfen, ob sie lediglich als Betreiber im Sinne der KI-VO gelten, oder zusätzlich die Kriterien beispielsweise als Anbieter oder Einführer erfüllen. Anbieter sind beispielsweise Unternehmen, die die Entwicklung eines KI-Systems in Auftrag geben.

Insbesondere für Anbieter von Künstlicher Intelligenz sind die rechtlichen Anforderungen sehr hoch. Es werden beispielsweise hohe Auflagen für die Qualität der Trainingsdaten, menschliche Aufsicht, Dokumentationspflichten sowie die Zusammenarbeit mit Behörden festgelegt.

Bei Missachtung drohen Unternehmen auch hier empfindliche Strafen.

Begrenztes Risiko (Artikel 50 KI-VO)

KI-Systeme können weiterhin den Transparenzpflichten nach Art. 50 KI-VO unterfallen. Hier wird oft von einem “begrenzten Risiko” gesprochen. Allerdings können diese Pflichten auch zusätzlich für solche KI-Systeme bestehen, welche ein hohes Risiko im Sinne des Art. 6 KI-VO aufweisen. Ein begrenztes Risiko kann vorliegen, wenn etwa eine der folgenden Bedingungen erfüllt ist:

  • Die Anwendung ist für die direkte Interaktion mit natürlichen Personen bestimmt wie bspw. Chatbots.
  • Die Anwendung wird für die generative Erzeugung von Inhalten wie Texten, Bildern, Audioinhalten oder Videos verwendet (dazu gehört auch ChatGPT).
  • Die Anwendung ist in der Lage, Emotionen zu erkennen oder eine biometrische Kategorisierung vorzunehmen.
  • Die Anwendung ist in der Lage, sogenannte „Deep Fakes“ zu erzeugen.

Nutzer, die mit einer solchen KI-Anwendung interagieren oder deren Daten von ihr ausgewertet werden, müssen im Voraus darüber informiert werden (Transparenzpflicht), wenn es nicht aus dem Kontext bereits offensichtlich ist.

Inhalte, die mit KI erzeugt wurden, müssen außerdem als solche gekennzeichnet werden (Kennzeichnungspflicht). Ausnahmen bestehen dann, wenn vom Betreiber eingegebene Inhalte durch die KI nur leicht verändert werden.

Es bestehen zusätzliche Ausnahmen zu den genannten Pflichten in Fällen, in denen KI-Anwendungen zur Aufdeckung, Verhütung oder Verfolgung von Straftaten eingesetzt werden.

In jedem Fall muss eine sorgfältige Prüfung erfolgen, was für ein individuelles KI-System zu beachten ist.

Minimales Risiko

Als KI mit minimalem oder keinem Risiko können alle KI-Anwendungen bezeichnet werden, die nicht unter eine der vorgenannten Risikoklassen fallen. Auch hier bestehen jedoch grundsätzliche Pflichten für Unternehmen, die beispielsweise im Artikel 4 der KI-VO festgelegt werden. Dort heißt es:

„Die Anbieter und Betreiber von KI‑Systemen ergreifen Maßnahmen, um nach besten Kräften sicherzustellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI‑Systemen befasst sind, über ein ausreichendes Maß an KI‑Kompetenz verfügen, wobei ihre technischen Kenntnisse, ihre Erfahrung, ihre Ausbildung und Schulung und der Kontext, in dem die KI‑Systeme eingesetzt werden sollen, sowie die Personen oder Personengruppen, bei denen die KI‑Systeme eingesetzt werden sollen, zu berücksichtigen sind.“

Unternehmen sollten also in jedem Fall für eine angemessene Aus- bzw. Weiterbildung Ihrer Mitarbeiter sorgen, die sogenannte KI-Kompetenz.

Folgen für Unternehmen

Unternehmen, die planen mit KI-Systemen zu arbeiten, diese zu entwickeln oder Inverkehr zu bringen, sollten bereits im Voraus die Einstufung in eine der gegebenen Risikokategorien prüfen und ggf. Maßnahmen zur Erreichung vollständiger Compliance ergreifen. Dazu gehört beispielsweise eine adäquate Aus- bzw. Weiterbildung von mit der Aufsicht betrauten Mitarbeitenden.

Gerade für kleinere Unternehmen sind die internen Ressourcen hierfür jedoch oft begrenzt. Insbesondere der Umgang mit Hochrisiko-KI kann ohne externe Unterstützung vor Herausforderungen stellen.

Es ist daher ratsam, die Risikoklasse von KI-Anwendungen vor deren Einsatz von Experten prüfen zu lassen. Diese können im nächsten Schritt auch bei der Ausarbeitung von Maßnahmen für die Sicherstellung der Compliance eine aktive Rolle einnehmen.

Für eine erste Einschätzung können Sie das KI-VO Compliance Tool auf unserer Website nutzen.

Wir unterstützen Unternehmen im Bezug auf die Einordnung von KI-Systemen und den gesetzeskonformen Umgang mit Hochrisiko-KIs zur Sicherstellung größtmöglicher Rechtssicherheit. Kontaktieren Sie uns gerne direkt mit Ihrem Anliegen.

Zum Kontaktformular

Zur Newsletter-Anmeldung

KI-Schulungen her, Emotionsanalyse weg – Erste Regelungen der KI-VO anwendbar

Posted on by Eilert Stamm

Die KI-VO ist im August letzten Jahres in Kraft getreten. Während die Mehrzahl der Vorgaben aus der KI-VO erst am 2. August 2026 anwendbar werden, gelten die ersten Regelungen bereits seit 2. Februar dieses Jahres.  Für Unternehmen sind hierbei insbesondere zwei Aspekte relevant. Zum einen müssen Unternehmen schon jetzt die KI-Kompetenz ihrer Mitarbeiter sicherstellen, zum anderen ist der Einsatz von KI-Systeme, die ein unzumutbares Risiko aufweisen, ab sofort verboten.

Schauen wir uns das im Einzelnen an.

KI-Kompetenz

Gemäß Art. 4 KI-VO müssen Unternehmen sicherstellen, dass ihre Mitarbeiter „über ein ausreichendes Maß an KI-Kompetenz“ verfügen, wenn Sie mit KI-Systemen arbeiten. Ob die gegebene Kompetenz ausreichend ist, bemisst sich dabei sowohl an deren Wissen als auch am Verwendungskontext.

Hier kommt auf Unternehmen also ein Schulungsaufwand zu. Es geht nicht nur um technische Fragen des Systems, sondern auch um mögliche Auswirkungen für Datenschutz und Urheberrecht oder mögliche inhärente Diskriminierung. Daher müssen Unternehmen schon jetzt wissen, wie KI-eingesetzt wird, welche Auswirkungen KI haben kann, ob das alle betroffenen Mitarbeiter in Gänze verstehen und mit welchen Maßnahmen mögliche Defizite behoben werden können.

Verbotene Systeme

Die zweite wichtige Regelung bezieht sich auf das Verbot von KI-Systemen, welche gemäß Art. 5 KI-VO ein unzumutbares Risiko für die Betroffenen darstellen.  Details zur Risikoeinstufung finden Sie in diesem Beitrag. Dieses Verbot erstreckt sich explizit auf die Verwendung solcher Systeme, die bereits im Einsatz sind. In den anderen Vorgaben beschränkt sich die KI-VO zumeist auf die Regulierung des Inverkehrbringens (also z. B. das Verkaufen) eines KI-Produkts und die Inbetriebnahme (also den Einsatz eines Systems) und lässt gemäß seiner Konzeption als Produktsicherheitsgesetz die Verwendung außen vor.

Was heißt das für Unternehmen?

Die KI-VO verbietet vom Wortlaut her „Praktiken“, keine KI-Systeme. Allerdings kann eine „Praxis“ auch das Verwenden eines KI-Systems sein, welches z. B. Manipulationstechniken einsetzt.

Art. 5 Abs. 1 KI-VO zählt acht Praktiken auf, von denen die meisten nur für staatliche Stellen oder Unternehmen mit sehr speziellen und teilweise ethisch höchst fragwürdigen Geschäftsmodellen relevant sind.

Es bestehen aber zwei Ausnahmen, denn verboten sind auch das Inverkehrbringen, die Inbetriebnahme oder die Verwendung eines KI-Systems, wenn sie Folgendes leisten:

  • Erstens Profiling, sofern dies zum Nachteil eines Betroffenen führen kann und diese Schlechterstellung unverhältnismäßig ist oder in keinem Zusammenhang zum Umstand der Datenerhebung stehen. Verboten ist Profiling aber nur, wenn weitere Bedingungen wie Datenerhebung über einen längeren Zeitraum erfolgt und die Daten in Zusammenhängen erhoben werden, die nicht auf einen definierten Zweck bezogen sind. Dieses Verbot zielt primär auf die Unterbindung von „Social Scoring“ ab. Der Einsatz von KI zur Gewinnung von Kundenprofilen auf der Grundlage vorheriger Käufe etc. sind also weiterhin nicht verboten.
  • Zweitens Erkennen und Ableiten von Emotionen einer natürlichen Person am Arbeitsplatz oder in einer Bildungseinrichtung.

Insbesondere im zweiten Fall sind zahlreiche Use-Cases im HR-Bereich (Bewerbung und Assessment Center, Entwicklung von Führungskräften) denkbar, bei denen der Einsatz eines KI-Systems seit Anfang des Monats verboten ist.

Handlungsbedarf?

Unternehmen sollte daher jene Bereiche genau unter die Lupe nehmen, in denen Profiling und Emotionserkennung möglich sind. Unterschätzen Sie nicht, dass KI-Fähigkeit einer IT-Lösung auch erst lange nach Ausrollen des Systems durch ein Software-Upgrade zum Bestandteil eines Tools werden kann und dieser Umstand daher nicht immer in allen Dokumentationssystemen erfasst ist.

Dabei ist rechtlich derzeit nicht eindeutig geklärt, ob bereits die Fähigkeit eines Systems ausreicht, damit das System als Ganzes verboten ist, oder ob nur die tatsächliche Nutzung einer solchen Fähigkeit eines Systems ausschlaggebend ist. Eine Software-Suite eine US-Herstellers bietet ggfs. Features an, deren Einsatz nach Verständnis der KI-VO verboten sind, welche aber vom Unternehmen nicht genutzt werden. Daher sollten diese Features und Module in der Dokumentation genau abgegrenzt werden, damit die tatsächlich eingesetzten Funktionen nicht kompromittiert werden.

Über die Fortschritte in diesen Fragen werden wir sie auf dem Laufenden halten. Hier finden Sie außerdem druckfrisch die 140-seitigen Leitlinien der EU-Kommission zu den verbotenen KI-Systemen.

Sie wollten die KI-Kompetenz ihrer Mitarbeiter einschätzen oder notwendige Schulungen durchführen? Sie wollen feststellen, ob Ihr 360°-Persönlichkeitsbewertungs-Tool unter die Kategorie der verbotenen Systeme fällt? Sprechen Sie uns an. Sie wollen die wichtigen Entwicklungen im Bereich KI-Compliance im Auge behalten? Abonnieren Sie unseren Newsletter.

Übergangfristen – Warum die KI-VO für viele Ihrer bestehenden KI-Systeme nie anwendbar sein wird

Posted on by Eilert Stamm

Die KI-VO ist am 2. August dieses Jahres in Kraft getreten und ist prinzipiell ab 2. August 2026 anwendbar, wenn auch mit einigen Abweichungen. Diese Abweichungen sind in erster Linie an der Risikoeinstufung der KI-Systeme festgemacht. Aber welche Übergangsfristen bestehen für KI-Systeme, die bereits im Einsatz sind?

Die KI-VO ist im Wesentlichen ein Produktsicherheitsgesetz, welches einen risikobasierten Ansatz verfolgt und Aspekte des Grundrechteschutzes integriert. Die Vorgaben greifen in erster Linie zu dem Zeitpunkt, zu dem ein KI-Produkt in Verkehr gebracht oder in Betrieb genommen werden soll.

Für KI-Systeme, die bereits in den Unternehmen eingesetzt werden, sind diese Regelungen daher zunächst nicht anwendbar. Allerdings hat der Gesetzgeber Fristen festgelegt, bis wann Anbieter und Betreiber bei bestimmten KI-Systemen sicherstellen müssen, dass diese in Übereinstimmung mit den Vorgaben der KI-VO vertrieben und verwendet werden. Für die meisten Legacy-KI-Systeme gilt jedoch, dass die KI-VO nie anwendbar sein wird und der Betrieb dieser Systeme somit nicht in Einklang mit KI-VO gebracht werden muss.

Schauen wir uns nun im Detail an, für welche KI-Systeme welche Fristen gelten und für welche KI-Systeme die KI-VO nicht anwendbar sein wird.

Übersicht Übergangsfristen KI-VO
Abb.: Entscheidungsbaum Übergangsfristen Anwendbarkeit der KI-VO

Übergangsfrist bei inakzeptablem Risiko

Die Vorgaben für inakzeptable Risiken greifen gem. Art. 113 UAbs. 3 Buchst. A KI-VO bereits ab 2. Februar 2025. Denn Art. 5 KI-VO verbietet nicht nur das Inverkehrbringen und die Inbetriebnahme von KI-Systemen mit inakzeptablem Risiko, sondern auch deren Verwendung. An dieser Stelle weicht die KI-VO von der Logik eines reinen Produktsicherheitsgesetzes ab und stellt den Schutz der Grundrechte der Betroffenen in den Vordergrund. So erklärt sich diese Ausnahme und die ausgesprochen kurze Übergangsfrist.

Übergangsfrist für GPAI-Systeme

Die KI-Systeme mit allgemeinem Verwendungszweck (General Purpose AI – GPAI) werden von der EU außerhalb des Risikostufenmodells behandelt. Daher gelten hier auch eigene Fristen. KI-Systeme mit allgemeinem Verwendungszweck, die bereits in Betrieb sind oder vor dem 2. August 2025 in Verkehr gebracht werden, müssen gem. Art. 111 Abs. 3 KI-VO bis zum 2. August 2027 die Vorgaben der KI-VO erfüllen.

Übergangsfrist für IT-Großsysteme

Eine weitere Ausnahme von den üblichen Risikostufen sieht der Gesetzgeber für Komponenten von IT-Großsystemen vor, die gemäß den in Anhang X aufgeführten Rechtsakten errichtet und vor dem 2. August 2027 in Verkehr gebracht oder in Betrieb genommen wurden oder werden. Hierbei handelt es sich um EU-eigene Großprojekte wie das Visa-Informationssystem oder das „Europäische Strafregisterinformationssystem über Drittstaatsangehörige und Staatenlose“. Die hier geltende Frist bis zum 31.12.2030 ist daher für die meisten Unternehmen nicht relevant.

Anwendbarkeit bei KI-Systemen mit hohem Risiko

Viele Unternehmen betreiben jedoch bereits Hochrisiko-KI-Systeme oder bringen solche in Verkehr. Für Hochrisiko-KI-Systeme hat der Gesetzgeber differenzierte Fristen festgelegt.

Veränderungen von bereits verwendeten Hochrisiko-KI-Systemen

Nach Art. 111 Abs. 2 S. 1 KI-VO müssen Betreiber von Hochrisiko-KI-Systemen, die vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, die Anforderungen der KI-VO erfüllen, wenn diese Systeme nach dem 2. August 2026 „erheblich verändert“ werden. Doch was versteht der Gesetzgeber unter einer „erheblichen Veränderung“? Hier hilft ein Blick in die Erwägungsgründe der KI-VO. Erwägungsgrund 128, S. 1 KI-VO erläutert, dass Änderungen, die an einem Hochrisiko-KI-System vorgenommen werden und die dessen Konformität mit den Anforderungen der Verordnung beeinträchtigen könnten, wie z. B. Änderungen des Betriebssystems oder der Softwarearchitektur, als wesentliche Änderungen gelten, wobei der Gesetzgeber „erhebliche“ und „wesentliche“ Änderung synonym versteht.

Für Behörden bestimmte Systeme

Darüber hinaus differenziert der Gesetzgeber innerhalb der Hochrisiko-KI-Systeme nach den typischen Verwendern. Daher müssen Hochrisiko-KI-Systeme, welche „bestimmungsgemäß von Behörden verwendet werden sollen“ (Art. 111 Abs. 2 S. 2 KI-VO) bis zum 2. August 2030 mit den Bestimmungen der KI-VO in Einklang gebracht werden. Für private Betreiber kennt die KI-VO keine vergleichbare Verpflichtung.

Hochrisiko-Systeme ohne Fristen

Das heißt, dass für ein Hochrisiko-KI-System, welches

  • bereits in Betrieb ist,
  • keinen allgemeinen Verwendungszweck hat,
  • nicht bestimmungsgemäß von Behörden verwendet wird,
  • nicht Komponenten eine IT-Großsystems nach Anhang X KI-VO ist
  • und nach dem 2. August 2026 keine erheblichen Änderungen erfährt

die KI-VO nie anwendbar wird!

Zwar „ermutigt“ ErwG 178 KI-VO die Anbieter von Hochrisiko-KI-Systemen, „auf freiwilliger Basis bereits während der Übergangsphase mit der Einhaltung der einschlägigen Pflichten aus dieser Verordnung zu beginnen“, definiert aber in Übereinstimmung mit den Erwägungen in ErwG 177 gar keine Übergangsfristen für viele KI-Systeme.

Anwendbarkeit für KI-Systeme ohne hohes Risiko

So wie Hochrisiko-KI-Systeme unter den soeben erläuterten Bedingungen keiner Pflicht zur Anpassung an die KI-VO unterliegen, gilt gleiches auch für die KI-Systeme ohne hohes Risiko, sofern sie keinen allgemeinen Verwendungszweck aufweisen oder Komponente eines der IT-Großsysteme sind. Wie in unserem früheren Blogbeitrag geschildert, unterscheidet die KI-VO nur mittelbar zwischen begrenztem und minimalem Risiko. Der Begriff KI-Systeme ohne hohes Risiko umfasst daher beide Kategorien.

Bewertung und Einordnung

Die KI-VO macht also tatsächlich keine zeitlichen Vorgaben, bis wann bestimmte KI-Systeme mit der KI-VO in Einklang gebracht werden müssen, sofern die genannten Bedingungen zutreffen. Diese Tatsache mag für viele überraschend sein.

Dies bedeutet natürlich nicht, dass die EU die Grundrechte und die Produktsicherheit für diese Systeme im rechtsfreien Raum stehen lässt. Vielmehr unterliegen die Systeme weiteren (Produktsicherheits-)Gesetzen, die der Gesetzgeber auch ausdrücklich für ausreichend hält. ErwG 166 besagt sinngemäß, dass KI-Systeme ohne hohes Risiko eigentlich sicher sein müssten, da sie die Vorgaben der „Verordnung (EU) 2023/988 vom 10. Mai 2023 über die allgemeine Produktsicherheit“ beachten müssen. Hier ist also aus Sicht des Gesetzgebers ein Sicherheitsnetz gespannt. Dieses Sicherheitsnetz gilt dann aber auch für Hochrisiko-KI-Systeme, die bereits verwendet werden, unverändert bleiben und nicht für Behörden bestimmt sind, sofern diese auf dem Markt bereitgestellt werden (Art. 2 Nr. 1 Verordnung (EU) 2023/988).

Für einige Unternehmen sind dies sicherlich erstmal gute Neuigkeiten. Aber der Teufel steckt natürlich im Detail. Setzen wir eigentlich ein KI-System mit allgemeinem Verwendungszweck ein? Ab wann handelt es sich um Einzelfall um eine erhebliche Veränderung? Wie ordne ich ein KI-System der richtigen Risikostufe zu? Und wie behalte ich den Überblick?

Unternehmen werden also nicht darum herumkommen, zumindest eine Bestandsaufnahme verwendeter KI-Systeme durchzuführen und diese in die Kategorien der KI-VO einzuordnen. Erst dann kann sicher festgestellt und dokumentiert werden, ob etwas und was zu tun ist.

Wir beraten Sie gern. Sprechen Sie uns an. Ihnen gefallen unsere Entscheidungsbäume und Sie wollen keine relevanten Entwicklungen im Bereich der KI-Regulierung verpassen? Abonnieren Sie unseren Newsletter, um in Sachen KI und Datenschutz stets auf dem aktuellen Stand zu bleiben.

Grundrechte-Folgenabschätzung nach KI-VO: Wer, wann und wie?

Posted on by Eilert Stamm

Wie Sie vielleicht schon gehört haben, verlangt die EU-Verordnung über Künstliche Intelligenz (KI-VO) unter bestimmten Umständen die Durchführung einer Grundrechte-Folgenabschätzung (GRFA). Die GRFA soll sicherstellen, dass die Verwendung eines KI-Systems die Grundrechte der natürlichen Personen, die das System nutzen oder davon betroffen sind, nicht beeinträchtigt. Beim Einsatz von KI-Systemen sind insbesondere Eingriffe in die Grundrechte auf den Schutz personenbezogener Daten (Art. 8 EU-Grundrechte-Charta), auf die freie Meinungsäußerung (Art. 11 GRCh), auf Berufsfreiheit (Art. 15 GRCh) oder auf Nichtdiskriminierung (Art. 21 GRCh) denkbar. Wenn Sie sich jetzt denken „Schon wieder? Wir haben doch schon eine Datenschutzfolgen-Abschätzung gemacht!“, dann können wir Ihre Zweifel gut nachvollziehen. Gleichzeitig können wir Sie aber auch beruhigen.

Wer muss wann eine Grundrechte-Folgenabschätzung nach KI-VO durchführen?

Während viele Unternehmen Datenschutz-Folgenabschätzungen (DSFA) durchführen müssen, und meistens mehr als eine, sind voraussichtlich deutlich weniger Stellen von der Pflicht zur Durchführung einer Grundrechte-Folgenabschätzung nach Art. 27 KI-VO betroffen. Folgendes Schema kann zur Orientierung dienen:

Prüfschema: Wann muss eine private Stelle eine Grundrechte-Folgenabschätzung durchführen?

Art. 27 KI-VO schränkt zunächst den Kreis der verpflichteten Akteure ein. Nur Akteure, die als Betreiber des KI-Systems eingestuft werden, müssen tätig werden. Darüber hinaus beschränkt die KI-VO die Pflicht auf Hochrisiko-Systeme. Die GRFA ist daher als Teil der umfassenden Pflichten für Betreiber von Hochrisiko-Systemen zu verstehen. Hierbei greift eine wichtige Ausnahme. Der Gesetzgeber geht offenbar davon aus, dass sich beim Einsatz eines Hochrisiko-Systems im Bereich der Kritischen Infrastrukturen das hohe Risiko nicht aus möglichen Eingriffen in die oben genannten Grundrechte speist. Daher sind Hochrisiko-Systeme, die nach Anhang III Nr. 2 KI-VO in den Bereich der Kritischen Infrastruktur fallen, von der Pflicht zur GRFA ausgenommen.

Hingegen müssen Unternehmen und andere private Akteure, bei denen das Hochrisiko-System im Rahmen des Erbringens öffentlicher Dienste betrieben wird, eine GRFA durchführen. Der Begriff „öffentliche Dienste“ klingt im Deutschen recht sperrig und stellt die direkte Übersetzung des englischen Terminus „public services“ dar. Erwägungsgrund 96 führt aus, dass damit privat erbrachte Dienstleistungen gemeint sind, welche mit Aufgaben im öffentlichen Interesse verknüpft sind. Zu diesen Aufgaben gehören insbesondere die Bereiche Bildung, Gesundheitsversorgung, Sozialdienste, Wohnungswesen und Justizverwaltung. Wenn jedoch keine Dienstleistung erbracht werden, die staatlichen Aufgaben nahestehen, bleibt nur ein eng definierter Verwendungsbereich übrig, der eine GRFA notwendig macht. Wenn ein privater Betreiber ein Hochrisiko-System nutzt, welches „bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden“ (mit Ausnahme für Finanzbetrugsprävention) vorgesehen ist oder Unternehmen Risiko- und Preisbildungsbewertung für Lebens- und Krankenversicherungen durchführen, werden Grundrechte-Folgenabschätzung nach KI-VO notwendig.

Wann muss eine Grundrechte-Folgenabschätzung nach KI-VO durchgeführt werden?

Die GRFA muss vor Inbetriebnahme des Systems durchgeführt werden. Wenn sich eines der für die GRFA berücksichtigten Elemente geändert hat, muss die GRFA aktualisiert werden. Für die Praxis empfiehlt es sich, einen regelmäßigen Aktualisierungszyklus festzulegen, um mögliche Änderungen auch feststellen zu können.

Was muss eine Grundrechte-Folgenabschätzung nach KI-VO enthalten?

Ähnlich wie eine DSFA umfasst eine GRFA einen deskriptiven und einen eher analytischen Teil. Im deskriptiven Teil werden das zu verwendende System, der Verwendungszweck sowie die betroffenen Gruppen und der Umfang und die Häufigkeit des Einsatzes beschrieben. Im analytischen Teil werden die Schadensrisiken, die mitigierenden Aufsichtsmaßnahmen und die Maßnahmenpläne für den Schadensfall erläutert.

Die Methodik der GRFA ist dem Betreiber weitgehend freigestellt. Es besteht jedoch eine Berichtspflicht. Der Betreiber muss das Ergebnis der GRFA der im jeweiligen Land zuständigen Marktüberwachungsbehörde melden. Diese Meldung erfolgt anhand eines Musterfragebogens. Die KI-VO beauftragt die EU-Kommission, ein Büro für Künstliche Intelligenz zu errichten, in welchem die Aufgaben der Kommission zum Bereich KI gebündelt werden. Nach Art. 27 Abs. 5 KI-VO wird das Büro für Künstliche Intelligenz diesen Musterfragebogen für die Durchführung von GRFA ausarbeiten. Dieser Fragebogen kann dann voraussichtlich auch als methodischer Leitfaden dienen.

Fazit

Bei der GRFA handelt es sich um eine Verpflichtung für eine begrenzte Gruppe von Betreibern, die Auswirkungen bestimmter Hochrisiko-Systeme auf die Grundrechte der Betroffenen abzuschätzen und das Ergebnis mittels eines europaweit standardisierten Fragebogens and die zuständige Aufsichtsbehörde zu melden. Insofern ähnelt die GRFA einer DSFA, unterscheidet sich aber in Umfang und Zielsetzung. In den meisten Fällen kann und sollte die GRFA als Ergänzung zu einer bestehenden DSFA konzipiert werden. So sieht es Art. 27 Abs. 4 KI-VO sogar ausdrücklich vor.

Sie benötigen Unterstützung oder Beratung zu den Themen Durchführung oder Dokumentation von DSFA oder GRFA? Sprechen Sie uns an.  Sie wollen bei den Themen KI-Compliance und Datenschutz auf dem Laufenden bleiben? Abonnieren Sie unseren Newsletter.

Meine Firma setzt ChatGPT ein. Darf sie das?

Posted on by Eilert Stamm

Dieser Beitrag erläutert am Beispiel eines sehr häufigen Szenarios, wie sich die KI-VO auf den Einsatz einer weit verbreiteten KI-Lösung auswirkt.

In dem hier zugrunde liegenden Szenario möchte ein Unternehmen den Chatbot ChatGPT ohne weitere Anpassungen unter einem firmeneigenen Namen, z. B. „Firma-Bot“, seinen Mitarbeitern zur internen Verwendung mit eingeschränkten Anwendungsmöglichkeiten anbieten. Die Mitarbeiter sollen eingeladen werden, den Chatbot für das Verbessern eigener Texte einzusetzen, um neue Texte wie z. B. Anleitungen zu generieren, um aus einem Input von unternehmenseigenen Dokumenten Zusammenfassungen zu erstellen oder bestehende Sharepoints mit der Chatbot zu verbinden, um eine fortgeschrittene Suche in diesen Datenablageorten zu ermöglichen.

Kann das Unternehmen ChatGPT so rechtskonform einsetzen? Dies wollen wir uns im Folgenden anhand der zu erwägenden Punkte anschauen:

Was ist ChatGPT aus Sicht der KI-VO?

ChatGPT ist ein KI-gestützter Chatbot. Er wurde von dem US-amerikanischen Softwareunternehmen OpenAI, Inc. entwickelt, um menschenähnliche Konversationen zu führen. Aus Sicht der KI-VO ist der Chatbot ein KI-System, dessen Output auf dem KI-Modell GPT-4 basiert, welches ebenfalls von OpenAI, Inc. entwickelt wurde. Ein KI-Modell ist ein System von Algorithmen, welches trainiert wird, um bestimmte Lösungsfähigkeiten zu erwerben. Bei GPT-4 handelt es sich um ein Large Language Modell, welches auf das Erkennen und Verarbeiten von Sprache trainiert wurde. Das Modell stellt also die Grundlage der Leistungsfähigkeit des Chatbots dar, das Modell kann aber auch zu anderen Zwecken verwendet. Eine Firma, die den Chatbot ChatGPT einsetzt, setzt hingegen nur das KI-System ein. Auch wenn die Fähigkeiten des Modells zum Einsatz kommen, übernimmt der Verwender des Produkts ChatGPT zunächst keine Verantwortung für das zugrunde liegende KI-Modell.

Was sollte mein Unternehmen beachten?

Welche Pflichten die KI-VO einem Unternehmen beim Einsatz eines KI-Systems auferlegt, hängt insbesondere von zwei Faktoren ab: 1. Welche Risikoeinstufung liegt vor? Und 2. Welche Rolle nimmt das Unternehmen ein?

Liegt ein inakzeptables oder hohes Risiko vor?

Wie in unserem vorherigen Beitrag geschildert, hängt die Risikoeinstufung auch vom konkreten Verwendungszweck ab. In unserem Szenario ist der Verwendungszweck durch die unternehmensinterne Richtlinie eingeschränkt. Die Kriterien für inakzeptable Risiken aus Art. 5 Abs. 1 KI-VO treffen bei den vorgenannten Anwendungsmöglichkeiten offensichtlich nicht zu. Ebenso fällt der für dieses Szenario skizzierte Verwendungszweck in keinen der in Anhang III KI-VO genannten Bereiche mit grundsätzlich hohem Risiko. Der Chatbot als Produkt fällt auch nicht unter die Liste der Harmonisierungsrechtsvorschriften in Anhang I KI-VO. Somit handelt es sich nicht um ein Hochrisiko-System und die entsprechenden Pflichten können vermieden werden.

Welche Rolle beim Einsatz von ChatGPT?

Wie ebenfalls in einem unserer früheren Beiträge dargestellt, unterscheidet die KI-VO zwischen verschiedenen Rollen, wie zum Beispiel Anbieter und Betreiber. Dabei sind einem Anbieter mehr Pflichten auferlegt als einem Betreiber. Wer ein KI-System nicht selbst entwickelt, aber in eigener Verantwortung verwendet, gilt als Betreiber. Dies trifft also auch auf das Unternehmen in unserem Szenario zu. Handelt es sich jedoch um ein Hochrisikosystem, würde das Unternehmen durch die Inbetriebnahme unter eigenem Namen allerdings zu einem Anbieter. Dies gilt jedoch nicht für Systeme von begrenztem oder minimalem Risiko, also auch hier nicht. Allerdings bleibt ein Unternehmen, welches eine KI-System einsetzt, nur dann ein Betreiber, wenn das KI-System auch gemäß der Zweckbestimmung verwendet wird, welche wiederum der Anbieter festgelegt. Auch diese Bedingung sollte in unserem Szenario erfüllt sein.

Welche Pflichten ergeben sich?

Somit handelt es sich in dem Szenario um die Inbetriebnahme eines KI-Systems zum Eigengebrauch durch einen Betreiber entsprechend der Zweckbestimmung, wobei das KI-System kein hohes Risiko aufweist.

Den Betreiber treffen daher zunächst die allgemeinen Pflichten aus der KI-VO, die so oder so ähnlich für alle Betreiber von KI-Systemen gelten. Nach Art. 4 KI-VO muss das Unternehmen sicherstellen, dass die Betroffenen das notwendige Wissen und Verständnis für KI-Systeme, die sogenannte KI-Kompetenz, aufweisen. Dies kann durch einen Bildungsabschluss oder Berufserfahrung gegeben sein oder muss durch Schulungen und Informationsmaterial vom Unternehmen nachgezogen werden.

Beim Einsatz eines Chatbots wirken insbesondere die Transparenzpflichten nach Art. 50 Abs. 1 KI-VO. So muss das Unternehmen die eigenen Mitarbeiter darüber informieren, dass sie mit einem KI-System interagieren. Da dies beim Einsatz von ChatGPT für die meisten Mitarbeiter offensichtlich ist, kann diese Pflicht ohne großen Aufwand erfüllt werden. Darüber hinaus sind weitere Compliance-Pflichten zu berücksichtigen. Beim Einsatz von ChatGPT sind insbesondere daten-, geheimnis- und urheberschutzrechtliche Aspekte zu beachten. So muss zum einen der Umgang mit den von den Mitarbeitern eingegebenen Input geregelt werden und umgekehrt diese auch über die spezifischen rechtlichen Herausforderungen eines Chatbots informiert werden, z. B. wenn diese in Prompts oder verwendetem Material dem Chatbot personenbezogenen Daten zur Verfügung stellen wollen.

Aber Vorsicht! Der Einsatz von ChatGPT unter anderen Bedingungen und mit anderen Verwendungszwecken kann eine andere Risikoeinstufung und andere Pflichten nach sich ziehen.

Was sollte mein Unternehmen tun?

Sofern der eingesetzte Chatbot nicht das einzige im Unternehmen eingesetzte KI-System ist, sollte der Einsatz in eine übergeordnete KI-Compliance-Strategie eingebettet sein. Dazu gehört beispielsweise eine systematische Dokumentation der eingesetzten KI-Systeme, eine allgemeine KI-Richtlinie etc. Hierzu werden wir in Kürze einen eigenen Blogbeitrag zur Verfügung stellen.

Für den Einsatz von Chatbots im Speziellen empfiehlt es sich, klare Regeln für die Beschäftigten aufzustellen:

  • Dies beginnt mit Vorgaben, wie, von wem und wofür der Chatbot überhaupt genutzt werden darf. Und wofür nicht, wie bspw. private Zwecke.
  • Darüber hinaus sollten Vorgaben zum zulässigen Input definiert sein, also zum Inhalt der Prompts oder der eingestellten Texte und Dokumente bzw. auch zur Bereinigung dieser vor Eingabe. Denn dieser Input kann sensible personenbezogene Daten enthalten oder Rückschlüsse zulassen, aber auch Geschäftsgeheimnisse oder andere Informationen dem Anbieter des Bots übermitteln. Hilfreich ist es hierfür, Muster für oft verwendete Prompts und übliche zu bereinigende Informationen vorzudefinieren. Zum anderen sollten nachvollziehbare Bestimmungen erlassen werden, in welcher Form der vom Chatbot generierte Output genutzt werden kann.
  • Gänzlich untersagt werden sollte einerseits die Verarbeitung von personenbezogenen Daten, sofern Datenflüsse vom eingesetzten Chatbot zu OpenAI, Inc. möglich sind. Andererseits die Verwendung der im Unternehmen eingegebenen und generierten Daten für das weitere Training des Modells durch OpenAI, Inc.
  • Darüber hinaus sollte in regelmäßigen Abständen eine Evaluation der Nutzung durchgeführt werden. Hierbei sollte überprüft werden, ob der Chatbot bestimmungsgemäß verwendet wird (z. B. durch automatisiertes Screening nach bestimmten Inhalten) und ob er entsprechend der Vorgaben arbeitet (z. B. keine personenbezogenen Daten im Output ausgibt). Achtung, bei einer solchen Auswertung können neue datenschutzrechtliche Herausforderungen auftreten, die es zu berücksichtigen gilt.

Ansonsten kann man sich auch der hilfreichen Checkliste des Hamburgischen Beauftragten für Datenschutz und Informationsfreiheit für den Einsatz von KI-basierten Chatbots orientieren.

Gibt es Ausnahmen für Start-ups und KMU?

Entsprechend des Verordnungsziel der Innovationsförderung und dem besonderen Augenmerk auf kleine und mittlere Unternehmen/KMU (Art. 1 Abs. 2 lit. g KI-VO) sind durchaus Erleichterungen und Ausnahmen für KMU und Kleinstunternehmen in der KI-VO vorgesehen. So sind die Anforderungen an das Risikomanagement bei Hochrisikosystemen für Kleinstunternehmen bspw. abgesenkt. Für das hier betrachtete Szenario sind diese Ausnahmen jedoch nicht relevant.

Fazit

Wie am Beispiel gezeigt, können Unternehmen bestimmte KI-Systeme nutzen (lassen), z. B. ChatGPT rechtskonform einsetzen, ohne umfangreiche Pflichten und Verwaltungsaufwände erfüllen zu müssen. Auch kleine oder mittlere Unternehmen, die möglicherweise über keine eigene Rechts- oder Compliance-Abteilung verfügen, können so von KI-Systemen profitieren. Im Zweifel sollte natürlich Rat eingeholt werden, um mögliche Eingriffe in die Rechte Dritter und Bußgelder bei versehentlichen Pflichtverstößen zu vermeiden. Gerade im Personalbereich ist Vorsicht geboten. Die Nutzung von KI-Systemen ist nicht in jedem Falle zulässig, nur weil diese auf dem Markt erhältlich sind oder praktisch erscheinen.

Sprechen Sie uns gerne an, wenn Sie Unterstützung bei der Einführung oder Bewertung eines KI-Systems benötigen. Sie wollen beim Thema KI-Compliance auf dem Laufenden bleiben? Abonnieren Sie unseren Newsletter.

KI-VO: Wie funktioniert die Risikoeinstufung von KI-Systemen?

Posted on by Eilert Stamm

Die KI-VO verfolgt einen risikobasierten Ansatz. Zentral für diesen Ansatz ist die Einstufung der KI-Systeme bzw. der Anwendungszwecke in eine von vier Risikostufen: Inakzeptables Risiko, Hohes Risiko, Begrenztes Risiko und Minimales Risiko.

Die Einstufung eines KI-System erfolgt nach folgendem Schema:

Bei der Einstufung kann sowohl die Eigenschaft des KI-Systems selbst, der Verwendungszweck oder der Einsatzbereich ausschlaggebend für die Risikoeinstufung ein.

.

Risikoeinstufung von KI-Systemen; Flowchart AI systems
Abb. 1: Entscheidungsbaum Risikoeinstufung von KI-Systemen

Inakzeptables Risiko

Wenn ein KI-System oder Verwendungszweck in Art. 5 Abs. 1 KI-VO aufgeführt wird und somit unter die verbotenen Praktiken fällt, darf das KI-System nicht (bzw. nicht zu diesem Zweck) in Verkehr gebracht oder eingesetzt werden.

Art. 5 Abs. 1 KI-VO verbietet in erster Linie Praktiken bzw. Verwendungszwecke, und keine Systeme. Ein KI-System, welches Fähigkeiten im Sinne von Art. 5 Abs. 1 KI-VO aufweist, kann unter bestimmten Bedingungen rechtskonform eingesetzt werden. So sind KI-Systeme zum Ableiten von Emotionen nicht prinzipiell verboten, sondern nur deren Einsatz am Arbeitsplatz oder an Bildungseinrichtungen und nur sofern bestimmten Bedingungen vorliegen. Gleichzeitig zeichnen sich viele KI-Systeme dadurch aus, dass sie vielseitig verwendbar sind. KI-Systeme, die für die in Art. 5 Abs. 1 KI-VO genannten Praktiken eingesetzt werden könnten, aber zu anderen Zwecken verwendet werden, fallen ebenso nicht unter das Verbot. Selbst die von der KI-VO als besonders riskant bewerteten Systeme, „mit denen natürliche Personen individuell auf der Grundlage ihrer biometrischen Daten kategorisiert werden, um ihre Rasse, ihre politischen Einstellungen, ihre Gewerkschaftszugehörigkeit, ihre religiösen oder weltanschaulichen Überzeugungen, ihr Sexualleben oder ihre sexuelle Ausrichtung zu erschließen oder abzuleiten“, dürfen unter sehr engen Voraussetzungen eingesetzt werden.

Hohes Risiko aufgrund des Einsatzbereichs

Anhang III führt verschiedene Bereiche auf, in denen der Gesetzgeber den Einsatz von KI als besonders risikobehaftet einschätzt. Soll ein System in einem der in Anhang III aufgeführten Bereich eingesetzt werden, gilt es nach Art. 6 Abs. 2 KI-VO als Hochrisiko-KI-System.

Bereiche mit besonderer Relevanz für privatwirtschaftliche Organisationen sind beispielsweise das Personalwesen, der Bildungsbereich, bestimmte Anwendungszwecke der Biometrie und der Bereich Kritische Infrastruktur. Nach Art. 6 Abs. 3 KI-VO kann die Hochrisikoeinstufung eines in den genannten Bereichen eingesetzten KI-Systems unterbleiben, wenn bestimmte risikomindernde Bedingungen vorliegen: Nämlich, wenn vom KI-System lediglich eng gefasste Verfahrensaufgaben übernommen, eine menschliche Tätigkeit lediglich verbessert, nicht Entscheidungen, sondern nur deren Evaluationen vorgenommen oder lediglich vorbereitende Aufgaben in den genannten Bereichen an das KI-System delegiert werden.

Eine Rückausnahme wurde vom Gesetzgeber übrigens aber für alle Aspekte des Profiling eingefügt.

Hohes Risiko aufgrund der Produkteigenschaft

Die zweite Option, die zu einer Einstufung als Hochrisiko-KI-System führt, stellt sich etwas komplexer dar. Diese bezieht sich auf KI-Systeme, die entweder selbst ein Produkt sind oder welche als Sicherheitsbauteil eines Produkts fungieren.

Im ersten Schritt muss geprüft werden, ob das KI-System als Produkt unter eine von zahlreichen, in Anhang I aufgeführten Harmonisierungsrechtsvorschriften fällt. Zu diesen Vorschriften gehören z. B. Richtlinie 2014/90/EU über Schiffsausrüstung, Richtlinie 2014/34/EU über Schutzsysteme zur bestimmungsgemäßen Verwendung in explosionsgefährdeten Bereichen oder Verordnung (EU) 2017/745 über Medizinprodukte.

Im zweiten Schritt ist zu prüfen, ob dieses Produkt auf der Grundlage dieser Harmonisierungsrechtsvorschriften einer obligatorischen Konformitätsbewertung durch Dritte unterliegt.

Bei einem KI-System, welches z. B. als Medizinprodukt vertrieben werden soll, müsste der Hersteller somit zunächst eine Einstufung des Systems nach der Medizinprodukteverordnung vornehmen. Wenn diese Einstufung bedeutet, dass das Medizinprodukt eine Konformitätsbewertungsverfahren durch die „Zentralstelle der Länder für Gesundheitsschutz bei Arzneimitteln und Medizinprodukten“ durchlaufen muss, dann gilt dieses Produkt (oder das Sicherheitsbauteil) als ein KI-System mit Hohem Risiko.

Begrenztes und Minimales Risiko

Wenn das KI-System aufgrund der Produkteigenschaften, seines Einsatzbereiches oder seines Verwendungszwecks weder unter Art. 5 Abs. 1 KI-VO noch unter Anhang I oder III fällt, liegt ein „Begrenztes Risiko“ oder „Minimales Risiko“ vor.

Diese Terminologie wird in der KI-VO allerdings nicht unmittelbar verwendet und dementsprechend wird die Unterscheidung dort auch nicht operationalisiert. Vielmehr begründen begleitende Hinweise der EU-Kommission diese Systematik. Die EU-Kommission legt fest, dass KI-Systeme, die keine Hochrisiko-KI-Systeme sind, deren Verwendung bei unzureichender Transparenz aber mit Risiken für die Betroffenen verbunden sind, als Systeme mit Begrenztem Risiko einzustufen sind. So muss bspw. der Betreiber eines Chatbot die Nutzer darüber in Kenntnis setzen, dass sie mit einer Künstlichen Intelligenz interagieren und betreibt somit ein KI-System mit Begrenztem Risiko. Alle anderen KI-Systeme gelten dann als KI-Systeme mit Minimalem Risiko.

Änderungen

Der rasanten Entwicklung der KI-Technologie steht eine schwerfällige europäische Gesetzgebung gegenüber. Daher hat der Gesetzgeber der EU-Kommission die Befugnis eingeräumt, den Anhang III, der risikobehaftete Einsatzbereiche aufführt, anzupassen. Folgende Kriterien müssen dabei nach Art. 7 Abs. 2 KI-VO von der EU-Kommission für etwaige Anpassungen berücksichtigt werden:

  • Zweckbestimmung
  • Umfang des Einsatzes
  • Art und Umfang der verwendeten Daten
  • Autonomie des Systems
  • Risikogeschichte (bekannte Vorfälle)
  • Ausmaß eines möglichen Schadens
  • Abhängigkeit der Betroffenen von dem System (kein Opt-out)
  • Machtungleichgewicht zwischen Betreiber und Betroffenen sowie Auswirkung auf schutzbedürftige Personen
  • Wahrscheinlichkeit und Ausmaß des möglichen Nutzens
  • Risikomitigierung durch bestehende EU-Gesetze

Pflichten

Die Risikoeinstufung eines KI-Systems bringt jeweils eigene Auflagen und Pflichten mit sich.

Risikoeinstufung von KI-Systemen. Pflichten für Betreiber von KI-Systemen.
Tab. 1: Risikostufen und verbundene Pflichten

Die besonderen Pflichten für Betreiber und Anbieter von Hochrisikosystemen haben wir bereits in unserem letzten Post beleuchtet.

.

Sie wollen ihre KI-Systeme der richtigen Risikostufe zuordnen? Oder Sie wollen nach einer solchen Einstufung die notwendigen Compliance-Maßnahmen ergreifen? Sprechen Sie uns gerne an.

Um zum Thema KI-VO auf dem Laufenden zu bleibend, abonnieren Sie einfach unseren Newsletter.

Konkrete Hinweise zum Vorgehen bei der Risikoeinstufung nach KI-VO erhalten Sie auch in unserem Webinar am 3. Dezember 2024. Hier geht es zur Anmeldung.

KI-VO: Was ist ein KI-System?

Posted on by Eilert Stamm

In den kommenden Wochen werden wir in diesem Blog die wichtigsten Aspekte der KI-Verordnung vorstellen, analysieren und Handlungsempfehlungen präsentieren. Den Auftakt macht dieser Beitrag zum zentralen Objekt der KI-VO, dem KI-System.

Was ist ein KI-System? Die EU-Verordnung zur Künstlichen Intelligenz (KI-VO), englisch: „AI Act“, reguliert nicht Künstliche Intelligenz insgesamt, sondern beschränkt seinen Anwendungsbereich auf „KI-Systeme“. Wichtige Aspekte des Technologiefelds „Künstliche Intelligenz“ wurden bewusst außerhalb des Anwendungsbereichs gestellt. Die Einschränkung auf „KI-Systeme“ folgt dem grundlegenden Ansatz der Verordnung, welche vom Gesetzgeber als Produktsicherheitsgesetz konzipiert ist. Schauen wir uns daher als Auftakt einer Reihe von Beiträgen in diesem Blog den Begriff genauer an.

Die Begriffsbestimmung in der Verordnung

Art. 3 Abs. 1 Nr. 3 KI-VO definiert ein KI-System in Sinne des Gesetzes als

“ein maschinengestütztes System, das für einen in wechselndem Maße autonomen Betrieb ausgelegt sind (sic!), das nach seiner Einführung anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ergebnisse wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen hervorgebracht werden, die physische oder virtuelle Umgebungen beeinflussen können;“

Art. 3 Abs. 1 Nr. 3 KI-VO

Bei dieser Definition fallen sofort vage Begriffe und Kompromissformeln ins Auge. Als eindeutige Kriterien bleiben vorerst übrig, dass ein KI-System im Sinne der Verordnung maschinengestützt ist und aus dem Input ableitet, wie ein Output generiert werden soll. Der Output besteht aus Vorhersagen, Inhalten, Empfehlungen oder Entscheidungen, die wiederum Einfluss auf die Umgebungen („environments“) nehmen können.

So weit, so unklar.

Erläuterungen im Erwägungsgrund

In den Erwägungsgründen hat der Gesetzgeber weitere Hinweise gegeben, wie die Verordnung interpretiert werden soll. Für unsere Frage ist insbesondere Erwägungsgrund 12 wichtig. Dieser grenzt ein KI-System von „herkömmlicher“ und „einfacherer“ Software ab und schließt Systeme aus, die „auf ausschließlich von natürlichen Personen definierten Regeln für das automatische Ausführen von Operationen beruhen“. Weiter stellt der Erwägungsgrund als Unterscheidungsmerkmal zu anderen Formen von Software heraus, dass KI-Systeme etwas Neues ableiten können. Die Fähigkeit zum Ableiten basiere dabei auf Konzepten wie maschinellem Lernen und logik- und wissensgestützten Konzepten. Des Weiteren ginge diese Fähigkeit über die „einfache Datenverarbeitung“ hinaus und ermögliche „Lern-, Schlussfolgerungs- und Modellierungsprozesse“.

Der Erwägungsgrund geht nicht darauf ein, was unter „Einfluss nehmen“ zu verstehen ist. Wohl aber greift er den Begriff der Umgebungen auf. Diese sollen „als Kontexte verstanden werden, in denen KI-Systeme betrieben werden“. Diese beiden Begriffe müssen aber zusammen gedacht werden. Die Literatur setzt die Messlatte für die Einflussnahme recht niedrig an. Georg Borges geht davon aus, dass ein System bereits auf die Umgebung Einfluss nimmt, sobald es eine Information generiert, die von einer weiteren Entität weiterverarbeitet wird. Diese Information kann, muss aber nicht, in der Form von Bewertungen, Entscheidungen oder Klassifikationen vorliegen.

Der Anspruch an die Beschaffenheit der Autonomie wird nicht präzise definiert. Es wird lediglich festgestellt, dass ein KI-System in der Lage sein muss, ohne Intervention durch einen Menschen zu operieren, wobei die Mindestschwelle hier vorerst offen bleibt, also sehr niedrig anzusetzen ist. Die Anpassungsfähigkeit hingegen scheint keine notwendige Bedingung zu sein; sie wird lediglich als Möglichkeit („kann“) aufgeführt, dient also wohl eher als starker Hinweis.

Unter Berücksichtigung des Erwägungsgrundes 12 kommen wir vorläufig zu folgendem Ergebnis: ein KI-System ist eine Software (im weiteren Sinne) oder eine Maschine, bei der Software eine Komponente ist. Dank dieser Software kann das System aus einem Input einen Output ableiten, der über simple, manuell festgelegte Wenn-Dann-Beziehungen hinausgeht und somit ein Mindestmaß an Autonomie aufweist. Eine gewisse Lern- bzw. Anpassungsfähigkeit des Systems ist ein Indikator für das Vorliegen eines KI-Systems, aber kein notwendiges Kriterium. Der Output des KI-Systems muss dabei in der Lage sein, die (physische oder virtuelle) Umgebungen zu beeinflussen.

Definition bewusst offen

Somit ist der Erwägungsgrund unverzichtbar für ein Verständnis der Begriffs. Trotzdem lässt die KI-VO viele Fragen offen. Der Gesetzgeber ist sich dessen durchaus bewusst und drückt in dem Erwägungsgrund die Überzeugung aus, dass der Begriff „KI-System“ eng mit internationalen Organisationen abgestimmt werden müsse, welche sich mit KI befassen. Diese Abstimmung solle Rechtssicherheit, internationale Konvergenz und hohe Akzeptanz ermöglichen, dabei gleichzeitig flexibel bleiben, um dem technischen Fortschritt gerecht zu werden.

Was heißt das für die Praxis?

In der Praxis wird die erste Frage bei der Umsetzung der KI-VO lauten: „Trifft das auf uns überhaupt zu?“. Es muss also festgestellt werden, für welche der eingesetzten oder einzuführenden bzw. vertriebenen Softwarelösungen und Maschinen die KI-VO anwendbar ist. Die obige Erörterung verdeutlicht, dass diese Frage nicht immer leicht zu beantworten ist. Diskussionsbedürftig ist insbesondere, wie hoch die Anforderungen an das eigenständige Ableiten durch ein KI-System anzusetzen sind. Es gibt Stimmen in der Datenschutz-Community, die davon ausgehen, dass derzeit noch keine Produkte auf dem Markt sind, die unter den Anwendungsbereich der KI-Verordnung fallen, weil das geforderte Maß an Autonomie bisher nicht erreicht würde (so z. B. Nina Diercks in der letzten BvD-News). Andere hingegen verstehen bereits einen Saugroboter als KI-System. Der Gesetzgeber seinerseits geht sehr wohl davon aus, dass derzeit verwendete Lösungen als KI-Systeme im Sinne der KI-VO zu gelten haben.

Prüfliste: Ist das Produkt ein KI-System?

Wenn ein Unternehmen auf der sicheren Seite sein will, darf es bei der Frage, welche Produkte und Lösungen unter die KI-Verordnung fallen, die Schwelle also nicht zu hoch ansetzen. Die folgenden Prüfpunkte sollten vorläufig (!) die Frage beantworten helfen, ob ein hergestelltes oder eingesetztes Produkt in den Anwendungsbereich der KI-VO fällt:

  • Weist das Produkt oder die Softwarekomponente die Fähigkeit auf, aus einem Input
    einen Output abzuleiten?
  • Ist diese Ableitung mehr als eine Abfolge von Wenn-Dann-Beziehungen, die von
    einem Menschen formuliert wurden?
  • Ist das System zu Lern-, Schlussfolgerungs- und Modellierungsprozesse (oder
    vergleichbarem) befähigt?
  • Kommt das System beim Generieren des Outputs zu einem gewissen Ausmaß ohne die
    Intervention eines Menschen aus?
  • Führt der Output des Systems zur Änderung des Zustands einer anderen Entität
    oder informiert der Output die Aktivität einer anderen Entität?

Wenn alle Punkte mit „Ja“ beantwortet werden, fällt das Produkt wahrscheinlich in den Anwendungsbereich der KI-VO. Angesichts der unklaren Begrifflichkeiten führt die Anwendung dieser unmittelbar aus der KI-VO herausgearbeiteten Prüfpunkte nicht immer zu einem eindeutigen Ergebnis. Daher kann es empfehlenswert sein, ein bisschen über die (vorläufigen) Definition der KI-VO hinauszudenken. Der Gesetzgeber hat sich bemüht, Regulierung für ein amorphes Phänomen zu ermöglichen. Irgendwie ist allen klar, was eigentlich gemeint ist, aber offensichtlich ist dieses Phänomen in einem politischen Prozess nur schwer in Worte zu fassen. Daher können wir zusätzlich auf unser Alltagsverständnis zurückgreifen, wenn wir entscheiden müssen, welches System in einer Organisation unter die Definition fällt. Dabei sollten folgende Eigenschaften des Systems berücksichtigt werden:

  • Nichtlinearität und Unvorhersehbarkeit: minimale Unterschiede im Input können zu großen Unterschieden im Output führen. Damit verbunden ist es schwierig, den Output des Systems genau vorherzusagen
  • Anpassungsfähigkeit und Lernfähigkeit: Systeme entwickeln bessere Lösungsstrategien auf der Grundlage der zuvor gemachten Erfahrungen
  • Selbstorganisation: Muster oder Strukturen entstehen ohne direkte Kontrolle oder Vorgabe.

Je ausgeprägter diese Merkmale vorliegen, desto wahrscheinlicher fällt das System unter die KI-Verordnung. Bekannte Systeme wie Midjourney oder ChatGPT fallen daher höchstwahrscheinlich in den Anwendungsbereich. Betroffen sind aber auch spezialisierte Systeme wie diese Fingerabdruckanalysesoftware, bei der die Entwickler feststellten, dass das System andere Merkmale analysiert, als die Forensiker bisher betrachtet haben. Uns hilft wahrscheinlich ja bald auch eine KI, um festzustellen, was im Verständnis der EU tatsächlich ein KI-System ist.

Sie wollen aber nicht so lange warten und wünschen Beratung zum Thema oder wollen zunächst einen Überblick gewinnen, was die KI-Verordnung für ihr Unternehmen bedeutet? Sprechen Sie uns an.

Sie möchten über die neusten Entwicklungen im Datenschutz und KI-Compliance auf dem Laufenden bleiben? Dann abonnieren Sie einfach unseren Newsletter!

Investment Fonds: Gefahren im Portfolio minimieren durch Datenschutz- und KI-Due-Diligence

Posted on by Ina Rothe

Nicht nur über eigene Datenverarbeitungen und Nutzung von Künstlicher Intelligenz müssen sich Investment Fonds Gedanken machen oder über jene der von ihnen beauftragten Dienstleister. Auch im Investment-Portfolio lauern mitunter unberücksichtigte Risiken. Diese können nicht nur zu finanziellen Einbußen beim Investment führen, durch Massenschadenersatzklagen etwa oder hohe Bußgelder. Im schlimmsten Fall sorgen sie für Reputationsverluste, wenn die Investoren in jedem Medienbericht zu einem Datenschutzvorfall beim Portfoliounternehmen mitgenannt werden. Wie zuletzt geschehen bei Urban Sports Club. Auch können unerkannte Datenschutz- oder Künstliche-Intelligenz-Risiken Markteintritte verzögern oder ganz verhindern und ein Investment somit gesamtheitlich gefährden.

.

Wer sind die Risikoträger?

Mindestens wer prominent, mehrheitlich oder gar gesamtheitlich investiert, sollte sich daher im Rahmen der Investment Due Diligence neben der Einhaltung von anderen rechtlichen Verpflichtungen, wie ESG oder Geldwäsche, auch intensiv mit den Datenschutz- und KI-Risiken im Portfolio auseinandersetzen.

Speziell solche Fonds, die einen strategischen Schwerpunkt auf digitale Anwendungen legen, in welchen personenbezogene Daten verarbeitet werden, sollten daher ihre Zielunternehmen bzw. deren Produkte und Dienstleistungen genauer unter die Lupe nehmen.

Wo liegen die Risiken?

Insbesondere dann, wenn besondere Kategorien personenbezogener Daten im Produkt, z. B. einem Online-Tool oder einer App, verarbeitet werden sollen. Dazu gehören Daten zum Gesundheitszustand, biometrische Daten, politische, religiöse oder sexuelle Orientierung oder ethnische Zugehörigkeit. Aber auch bei Produkten mit KI oder Anteilen von KI, die erhebliche u. a. datenschutzrechtliche Risiken bergen können, ist regelmäßig von erhöhten Risiken auszugehen. Speziell z. B. bei KI-unterstützen Anwendungen im Personal- oder Gesundheitswesen oder bei KI-Komponenten für regulierte technische Produkte oder Dienstleistungen. Geringere Risiken können angenommen werden bei Portfolio- oder Zielunternehmen, welche nicht-digitale Waren, wie z. B. vegane Lebensmittel oder Textilien, herstellen.

Auch die Frage danach, wessen Daten mit dem Produkt verarbeitet werden sollen, ist risikoentscheidend: Handelt es sich bspw. um eine App für das Kindergartenmanagement oder für vulnerable Zielgruppen, z. B. Menschen mit psychischen Beeinträchtigungen, ist die besondere Schutzwürdigkeit der Anspruchsgruppen zu berücksichtigen.

Je mehr dieser besonderen Kategorien von personenbezogenen Daten und/oder Daten von besonders schutzwürdigen Personengruppen also vom Portfoliounternehmen durch deren Angebote verarbeitet werden, desto größer auch die Gefahr für den investierenden Fonds, dass Datenschutzverletzungen besonders kritische Folgen haben können, die auf den Fonds durchschlagen könnten. Dabei ist es unerheblich, ob die Datenpanne ihren Ursprung in interner Fahrlässigkeit oder krimineller Energie von extern, Stichwort Cyber Crime, hat.

Im Hinblick auf KI ist zudem zu überprüfen, ob die eingesetzte KI überhaupt erlaubt oder etwa ein Hochrisiko-KI-System nach der EU KI-Verordnung ist (die ca. Mai 2024 in Kraft treten soll). Letztere unterliegen unter Umständen umfangreichen Anforderungen, die investitionsentscheidend sein können.

Wie minimiert man die Risiken?

Daher sollte im Rahmen einer Investment Due Diligence geprüft werden  

Im Idealfall hat das Zielunternehmen diese Punkte selbst erwogen und danach gehandelt. Oft aber und in Abhängigkeit von der Einbindung und Steuerungsmöglichkeit durch den investierenden Fonds wird es nötig sein, nach erfolgtem Investment solche Impulse erst ins Unternehmen zu geben.

Fazit

Fonds sollten ihre eigene Investmentstrategie daraufhin untersuchen, ob bereits hier Datenschutz- oder KI-Risiken, die vom Portfolio ausgehen könnten, erkennbar sind.  Insbesondere wenn der Investitionsschwerpunkt in Richtung digitale Anwendungen, vulnerable Zielgruppen oder Hochrisiko-KI-Systeme geht, sollten Fonds ihre Investment Due Diligence um Prüfungen zu Datenschutz und Künstlicher Intelligenz erweitern. Soweit möglich, sollten sie auch während der Haltephase als Investor risikoorientiert auf Datenschutz, Datensicherheit und KI-Sicherheit beim Portfoliounternehmen Einfluss nehmen.

Ideale Helfer, wie aus der allgemeinen Investment Due Diligence bekannt, sind hierbei Checklisten. Kontaktieren Sie uns gern, wenn wir Sie mit einer Muster-Checkliste zur Datenschutz- und/oder KI-Due-Diligence, die sich leicht in vorhandene Checklisten integrieren lässt, unterstützen können.

Möchten Sie über die neusten Entwicklungen bei Datenschutz und KI-Compliance auf dem Laufenden bleiben? Dann abonnieren Sie einfach unseren Newsletter.

KI-Compliance: Rechtssicherheit in der Ära der künstlichen Intelligenz

Posted on by Christian Klos

Das Wichtigste im Überblick:

Jetzt Angebot anfordern!

In einer Welt, in der künstliche Intelligenz (KI) zunehmend Einzug in Unternehmensprozesse hält, stehen Unternehmen vor der Herausforderung, innovative Technologien zu nutzen und gleichzeitig rechtliche und ethische Standards einzuhalten. KI-Compliance ist dabei der Schlüssel, um die Potenziale der KI voll auszuschöpfen, ohne rechtliche Grenzen zu überschreiten oder Reputationsrisiken einzugehen.

Die Komplexität der rechtlichen Anforderungen im Bereich KI verunsichert viele Unternehmen. Datenschutzverletzungen, mögliche Diskriminierung durch KI-Systeme oder mangelnde Transparenz in KI-gestützten Entscheidungsprozessen sind nur einige der Risiken, die es zu adressieren gilt. Als erfahrene Wirtschaftskanzlei mit Fokus auf Compliance-Recht unterstützt Two Towers Consulting Sie dabei, diese Herausforderungen zu meistern und KI-Technologien rechtssicher in Ihrem Unternehmen zu implementieren.

Rechtliche Grundlagen der KI-Compliance

Die neue EU-KI-Verordnung („KI-VO“; engl.: „AI Act“) ist politisch durch und wird noch in den nächsten Monaten in Kraft treten. Die tatsächliche Anwendbarkeit der einzelnen Vorgaben aus der KI-VO ist zeitlich gestaffelt. Während die Verbote von KI-Systemen mit inakzeptablen Risiken bereits sechs Monate nach Inkrafttreten der Verordnung greifen, werden die meisten Normen in zwei Jahren anwendbar sein. Die rechtlichen Rahmenbedingungen für den Einsatz von KI-Technologien sind vielschichtig und entwickeln sich stetig weiter. Zu den wichtigsten Regelwerken zählen:

  1. Die EU-Verordnung über Künstliche Intelligenz (KI-Verordnung)
  2. Die Datenschutz-Grundverordnung (DSGVO)
  3. Das Allgemeine Gleichbehandlungsgesetz (AGG)
  4. Branchenspezifische Regulierungen

Zentrale Herausforderungen der KI-Compliance

1. Rechtliche Einordnung von KI-Anwendungen

Die korrekte rechtliche Einordnung verschiedener KI-Anwendungen ist der erste Schritt zu einer effektiven Compliance-Strategie. Je nach Einsatzgebiet und Funktionsweise der KI können unterschiedliche rechtliche Anforderungen gelten. 

2. Transparenz und Erklärbarkeit von KI-Systemen

Eine der größten Herausforderungen im Bereich KI-Compliance ist die Gewährleistung von Transparenz und Erklärbarkeit. KI-Systeme müssen nachvollziehbar und ihre Entscheidungen erklärbar sein. Dies ist nicht nur eine rechtliche Anforderung, sondern auch entscheidend für das Vertrauen in KI-gestützte Prozesse. 

3. Verantwortlichkeiten bei KI-gestützten Entscheidungen

Wer trägt die Verantwortung, wenn eine KI eine fehlerhafte Entscheidung trifft? Diese Frage ist zentral für die rechtliche Absicherung beim Einsatz von KI. 

4. Datenschutz-Compliance in KI-Projekten

KI-Systeme basieren oft auf der Verarbeitung großer Datenmengen, was besondere datenschutzrechtliche Herausforderungen mit sich bringt. Die Einhaltung der DSGVO und anderer datenschutzrechtlicher Bestimmungen ist unerlässlich. 

5. Vermeidung von KI-induzierter Diskriminierung

KI-Systeme können unbeabsichtigt diskriminierende Entscheidungen treffen, wenn sie mit voreingenommenen Daten trainiert wurden. Die Vermeidung solcher Diskriminierungen ist nicht nur ethisch geboten, sondern auch rechtlich verpflichtend. 

Jetzt Angebot anfordern!

Handlungsempfehlung: Unternehmensinterne KI-Richtlinie

Bis zur Anwendbarkeit der meisten Normen in zwei Jahre, sollten Unternehmen die Zeit nutzen, um möglichst viel aus den Möglichkeiten der KI-Transformation herauszuholen, aber dabei stets compliant zu bleiben.

Ein besonders wichtiges Instrument für das Management von KI-Compliance ist eine unternehmensinterne KI-Richtlinie. Mit einer KI-Richtlinie können Unternehmen eine belastbare Governance-Struktur etablieren und Standards und Strategien für den Einsatz von KI-Systemen festlegen. Somit schafft eine KI-Richtlinie Klarheit und Erwartbarkeit für die Belegschaft und ermutigt Mitarbeiter, innovative Projekte mit Hilfe von KI-Technologie zu verfolgen. Gleichzeitig schützt eine gut gestaltete und erfolgreich implementierte Richtlinie vor den vielfältigen Risiken, die durch den Einsatz von KI in den Bereichen Informationsschutz, Urheberrecht, Datenschutz, Produktsicherheit etc. auftreten können.

Eine KI-Richtlinie muss daher immer mehrere Ziele verfolgen. Dazu gehört insbesondere, die Mitarbeiter zum Einsatz von KI-Systemen zu ermutigen und Innovation im Unternehmen zu fördern. Gleichzeitig müssen die rechtlichen Vorgaben aus KI-VO, DSGVO etc. eingehalten, der Schutz von Betriebsgeheimnissen und weiteren vertraulichen und sensiblen Information des Unternehmens sichergestellt, und der Schutz der Rechtsgüter Dritter (Datenschutz, immaterielle Güter wie Urheberecht und Patente, Auskunftsansprüche) garantiert werden. Da sich hier regelmäßig Spannungsfelder ergeben, muss eine KI-Richtlinie klar definieren, nach welchem Leitbild und Prinzipien KI-Systeme im Unternehmen entwickelt und eingesetzt werden dürfen.

Auf der operativen Ebene muss ein KI-Richtlinie im Unternehmen Klarheit über eingesetzte Systeme, damit verfolgte Zwecke und die damit verbundenen Abhängigkeiten und Beziehungen herstellen sowie Abläufe, Verantwortlichkeiten, Aufgaben und Rollen klarstellen. Für einen erfolgreichen Einsatz muss die KI-Richtlinie Bewusstsein für Risiken und Chancen schaffen und dabei nicht nur diese Risiken eindämmen, sondern auch vermeiden, dass Mitarbeiter aus übergroßer Vorsicht auf den Einsatz von KI-Systemen verzichten. Daher muss die notwendige Wissensvermittlung (KI-Kompetenz) eine Zielstellung der KI-Richtlinie sein. Ergänzt werden muss dies durch zusätzliche Schulungen der Beschäftigten. Gleichzeitig muss die Richtlinie ermöglichen, dass die notwendige Transparenz sowohl intern also auch gegenüber externen Betroffenen wie Kunden, Geschäftspartnern oder Bewerbern gegeben ist.

Um diese Ziele zu erreichen, sollte eine KI-Richtlinie zumindest das Folgende regeln:

Das Thema Haftung wird selbstverständlich auch eine wichtige Rolle spielen. Hierzu wird der KI-VO bald eine EU-KI-Haftungsrichtlinie an die Seite gestellt werden. Für diese Richtlinie existiert bisher ein Entwurf der EU-Kommission. Sobald die EU-KI-Haftungsrichtlinie in deutsches Recht umgesetzt wurde, sollte die bisherige interne KI-Governance-Struktur noch einmal überprüft werden.

KI-Systeme werden bereits jetzt umfangreich in allen Unternehmen genutzt und entwickelt. Compliance-Verantwortliche sollten also keine Zeit verlieren, denn bereits heute muss dabei geltendes Recht eingehalten werden.

KI-Compliance als Wettbewerbsvorteil

KI-Compliance ist mehr als nur die Erfüllung rechtlicher Anforderungen. Ein proaktiver und ganzheitlicher Ansatz zur KI-Compliance kann zu einem echten Wettbewerbsvorteil werden. Er schafft Vertrauen bei Kunden, Mitarbeitern und Geschäftspartnern, minimiert rechtliche und finanzielle Risiken und ermöglicht es Ihrem Unternehmen, die Potenziale von KI voll auszuschöpfen.

Two Towers Consulting steht Ihnen als erfahrener Partner zur Seite, um Ihre KI-Anwendungen rechtssicher und ethisch einwandfrei zu gestalten. Unsere Kombination aus technischem Verständnis und rechtlicher Expertise im KI-Bereich ermöglicht es uns, maßgeschneiderte Lösungen zu entwickeln, die Ihr Unternehmen für die Herausforderungen der KI-Ära rüsten.

Lassen Sie uns gemeinsam Ihre KI-Compliance-Strategie entwickeln und umsetzen. Kontaktieren Sie uns für ein kostenloses Erstgespräch, in dem wir Ihre spezifischen KI-Compliance-Herausforderungen analysieren und erste Lösungsansätze skizzieren. 

Praktische Tipps für Ihre KI-Compliance

Um Ihnen den Einstieg in eine effektive KI-Compliance zu erleichtern, haben wir einige praktische Tipps zusammengestellt:

1. Führen Sie regelmäßige KI-Risikobewertungen durch

Etablieren Sie einen Prozess zur regelmäßigen Überprüfung und Bewertung der Risiken Ihrer KI-Systeme. Nutzen Sie dafür eine strukturierte Checkliste, die alle relevanten rechtlichen und ethischen Aspekte abdeckt.

2. Dokumentieren Sie KI-Entscheidungsprozesse

Implementieren Sie ein System zur lückenlosen Dokumentation aller KI-gestützten Entscheidungsprozesse. Dies erhöht nicht nur die Transparenz, sondern erleichtert auch die Nachvollziehbarkeit im Falle von Überprüfungen oder Streitigkeiten.

3. Etablieren Sie ein KI-Ethik-Board

Ein internes KI-Ethik-Board kann bei der Bewertung ethischer Fragen im Zusammenhang mit KI-Anwendungen unterstützen und zur Entwicklung unternehmensweiter Richtlinien für den ethischen Einsatz von KI beitragen.

4. Schulen Sie Ihre Mitarbeiter

Regelmäßige Schulungen zum Thema KI-Compliance sensibilisieren Ihre Mitarbeiter für potenzielle Risiken und befähigen sie, compliant mit KI-Systemen zu arbeiten.

5. Bleiben Sie auf dem Laufenden

Die rechtlichen Rahmenbedingungen für KI entwickeln sich ständig weiter. Stellen Sie sicher, dass Ihr Unternehmen über Veränderungen informiert bleibt und Ihre Compliance-Strategie entsprechend anpasst.

Jetzt Angebot anfordern!

Unsere KI-Beratungsleistungen

Künstliche Intelligenz transformiert Unternehmen und Anwendungen grundlegend. Viele Organisationen berücksichtigen bereits ethische Aspekte bei KI-Projekten – eine gute Basis für die Umsetzung rechtlicher Vorgaben.

Die EU-KI-Verordnung setzt nun weltweit Maßstäbe mit verbindlichen Regeln für Entwickler und Anwender. Zusätzlich sind weitere Gesetze wie die DSGVO zu beachten. Jedes Unternehmen muss sich mit diesen Anforderungen auseinandersetzen.

Wir unterstützen Sie dabei, diese Vorgaben pragmatisch und effizient in Ihre Abläufe zu integrieren. Unsere Experten aus Recht und Compliance helfen Ihnen, regulatorische Risiken zu minimieren und gleichzeitig Ihr Kerngeschäft nicht zu beeinträchtigen.

Unser Leistungsspektrum umfasst:

Mit unserem ganzheitlichen Ansatz bleiben Sie bei KI-Projekten rechtlich auf der sicheren Seite, ohne Ihre Organisation zu überlasten. Mehr Informationen finden Sie hier.

Wir beraten Sie gern. Sprechen Sie uns an. Ihnen gefallen unsere Entscheidungsbäume und Sie wollen keine relevanten Entwicklungen im Bereich der KI-Regulierung verpassen? Abonnieren Sie unseren Newsletter, um in Sachen KI und Datenschutz stets auf dem aktuellen Stand zu bleiben.

Häufig gestellte Fragen

KI-Compliance bezeichnet die Einhaltung rechtlicher und ethischer Standards beim Einsatz von KI-Technologien in Unternehmen. Dies umfasst Aspekte wie Datenschutz, Nicht-Diskriminierung, Transparenz und Verantwortlichkeit bei KI-gestützten Entscheidungen.

Zu den wichtigsten Regelwerken zählen die EU-Verordnung über Künstliche Intelligenz, die DSGVO, das AGG sowie branchenspezifische Regulierungen. Die genauen Anforderungen hängen vom Einsatzbereich und der Art der KI-Anwendung ab.

Wichtig sind regelmäßige Überprüfungen der Trainingsdaten und Ergebnisse auf Voreingenommenheit, die Implementierung von Fairness-Metriken und die Diversifizierung der Entwicklungsteams. Unsere Experten unterstützen Sie bei der Entwicklung geeigneter Strategien.

KI-Systeme sollten umfassend dokumentiert werden, einschließlich der verwendeten Daten, Algorithmen, Trainingsmethoden und Entscheidungsprozesse. Dies dient der Transparenz und erleichtert mögliche behördliche Überprüfungen.

Wir empfehlen, mindestens jährlich eine umfassende KI-Risikobewertung durchzuführen. Bei signifikanten Änderungen am System oder relevanten rechtlichen Entwicklungen sollten zusätzliche Bewertungen erfolgen.

Ein KI-Ethik-Board ist ein internes Gremium, das ethische Fragen im Zusammenhang mit KI-Anwendungen bewertet und Richtlinien entwickelt. Für Unternehmen mit umfangreichen oder sensiblen KI-Anwendungen kann ein solches Board sehr sinnvoll sein.

Die Strafen können je nach Verstoß und anwendbarem Recht erheblich variieren. Sie reichen von Bußgeldern über Schadensersatzforderungen bis hin zu Reputationsschäden und behördlichen Auflagen.

Regelmäßige Schulungen, klare Richtlinien und eine offene Kommunikationskultur sind entscheidend.

Eine proaktive Strategie minimiert rechtliche und finanzielle Risiken, schafft Vertrauen bei Stakeholdern, erleichtert behördliche Prüfungen und kann zu einem Wettbewerbsvorteil werden.