Leitlinien zum Umgang mit KI

Erste Hilfestellungen können für verschiedene Anliegen in den folgenden Dokumenten gefunden werden:

• Prüfungsregeln im Hinblick auf den Einsatz von KI an der Fakultät für Physik
• Datenschutzregelungen des Datenschutzbüros der UR
• Hilfestellungen des ZHW
• GRIPS-Kurs „Toolbox für digitale Lehre“
• Leitfaden zu Generativer Künstlicher Intelligenz

Praxisorientierte, nützliche KI-Werkzeuge für verschiedene Anwendungsszenarien.

Die KI-VO hat somit hohe Relevanz für die UR, und zwar in zweierlei Hinsicht:

• Einerseits stellt die UR ihren Mitgliedern, z. B. mit dem Microsoft Copilot als Tool, das ChatGPT nutzt und damit zur Formulierung von Texten oder zum Zusammenfassen von Texten verwendet werden kann, oder DeepL als Übersetzungshilfe im Rahmen des TYPO3-Systems, KI-Systeme zur Anwendung bereit und ist im Sinne der Verordnung Betreiber von KI-Systemen (Art. 3 KI-VO).
• Andererseits entwickeln Mitglieder der UR im Rahmen von Forschungsarbeiten oder der Lehre möglicherweise eigenständig KI-Systeme, die mitunter auch bestehende KI-Systeme (wie z. B. ChatGPT) nutzen. Wenn diese Eigenentwicklungen produktiv genutzt werden bspw., um im Rahmen einer wirtschaftlichen Kooperation einen KI-basierten Chatbot zu implementieren oder Studierende in Lerngruppen einzuteilen, dann tritt die UR als Anbieter von KI-Systemen im Sinne der Verordnung (Art. 3 KI-VO) auf.

Die EU-Verordnung trat mit Bekanntgabe am 1. August 2024 in Kraft und erlangt phasenweise Gültigkeit. Sechs Monate nach dem Inkrafttreten der KI-VO zum 02. Februar 2025 beginnen erste Verbote und Regelungen zu gelten.

Zum gegenwärtigen Zeitpunkt müssen die Mitglieder der UR

• sich Kompetenzen in der Anwendung und im Umgang mit KI-Systemen aneignen, wenn sie KI-Systeme (potenziell) nutzen.
• sicherstellen, dass keine KI-Systeme zum produktiven Einsatz kommen, welche verbotene Praktiken beinhalten. Dabei ist es unerheblich, ob es sich um ein nur innerhalb der Universität betriebenes KI-System (siehe erstes Beispiel der verbotenen Praktiken) handelt oder ob es ein KI-System ist, welches öffentlich verfügbar und nutzbar ist.

Mit der phasenweisen Inkraftsetzung der KI-VO kommen künftig weitere Pflichten auf die Mitglieder der UR zu. Informationen dazu werden auf dieser Seite veröffentlicht. Ebenso wird demnächst auch ein Regelkatalog für die Einführung neuer KI-Systeme zur Verfügung gestellt.

Konsequenzen ergeben sich bei Missachtung der Regelungen. Konkret,

• wenn der Schulungspflicht nicht nachgekommen wird und durch den Einsatz eines KI-Systems durch eine nicht-kompetente Person der UR ein Schaden entsteht,
• wenn Systeme mit verbotenen KI-Praktiken im produktiven Betrieb verwendet werden und mit Realweltdaten arbeiten.

Die Missachtung der Anforderung der Schulungspflicht oder der Verbote ist insbesondere im Schadensfall problematisch, da dieser in der Praxis auch häufig Auslöser für Bußgelder ist. Jedoch ist ein Schaden nicht zwingende Voraussetzung. Auch Verstöße gegen die Verhaltenspflichten können eine Sanktion nach der KI-VO auslösen.

Abschließend ist darauf hinzuweisen, dass die KI-VO in Ergänzung zu bereits bestehenden Regelungen wie insbesondere der DSGVO zum Schutz der personenbezogenen Daten tritt. Verletzungen dieser Regelungen beim Einsatz eines KI-Systems können ebenfalls zu Sanktionen führen.

Die KI-VO sieht vor, dass alle, die mit KI arbeiten oder sie in ihrem Berufsumfeld nutzen wollen über fundierte Kenntnisse verfügen müssen. Dies betrifft sowohl die Grundlagen der KI als auch deren spezifische Anwendung in verschiedenen Bereichen. Dabei geht es nicht nur darum, KI effektiv einzusetzen, sondern auch um das Erkennen und Minimieren von Risiken, wie Diskriminierung, Datenschutzverletzungen oder ungewollte Abhängigkeiten von KI-Systemen.

Deshalb stehen im Folgenden speziell ausgewählte Schulungsangebote zur Verfügung. Diese sind so strukturiert, dass – je nach Wissensstand und Interessensgebiet – passende Module ausgewählt werden können:

Für alle, die sich mit den grundlegenden Prinzipien von KI vertraut machen möchten.

KI-Anwendungen speziell für den öffentlichen Sektor.

Ansätze und Tipps für den sinnvollen Einsatz von KI in der Forschung.

Didaktische und methodische Ansätze für den sinnvollen Einsatz von KI im Bildungsbereich.

Der Einsatz von KI-Systemen birgt auch Risiken, da ihre Entscheidungen auf teils undurchsichtigen Algorithmen, eventuell fehlerhaften oder voreingenommenen Trai-ningsdaten und nicht-überprüfbaren Entscheidungsstrukturen beruhen können und somit ggf. nicht nachvollziehbar oder inkorrekt sind. Dies kann zu Ungerechtigkeiten, Diskriminierung und Manipulation führen, insbesondere in sensiblen Bereichen wie Justiz, Arbeitsplatz oder öffentlichem Raum. Da fehlerhafte oder voreingenommene Entscheidungen durch die KI häufig nicht nachvollzogen oder korrigiert werden können, besteht die Gefahr, dass Personen ungleich oder ungerecht behandelt werden, ohne dass ein fairer und transparenter Bewertungsprozess gewährleistet ist. Um diese Gefahren zu vermeiden, verbietet die EU mit der KI-VO gezielt bestimmte KI-Praktiken, die grundlegende Rechte und Freiheiten bedrohen.

Deshalb beziehen sich verbotene KI-Praktiken auch nur auf Anwendungen der KI im produktiven Betrieb, d.h. dort wo ein Schaden für Personen entstehen kann.

• Davon explizit in der KI-VO ausgenommen sind KI-Systeme, die nur für den Zweck der wissenschaftlichen Forschung und Demonstration entwickelt und genutzt werden.
• KI-Systeme in der Lehre, die ausdrücklich nur für den Zweck der Veranschaulichung der Funktionalität der KI (ggf. auch verbotener Praktiken) eingesetzt werden, sind nicht explizit aus dem Anwendungsbereich der KI-VO ausgeschlossen. Ihre Verwendung ist nicht pauschal verboten. Für sie gelten Verhaltenspflichten u.a. ggf. oben erwähnte Transparenzpflichten.

Unberührt davon bleibt die ethische Verantwortung der Forschenden und Lehrenden bestehen.

Nach der KI-VO grundsätzlich verboten sind folgende KI-Praktiken bzw. -Systeme in den aufgeführten Einsatzgebieten (siehe Kapitel II, Artikel 5, KI-VO). Die Beispiele dienen zur Veranschaulichung und sind nicht vollständig.

Unterschwellige Beeinflussung, absichtlich manipulative Techniken

Beispiel: Es werden durch eine KI personalisierte Empfehlungen für Lernmaterialien oder Kurse gegeben. Die KI schlägt bestimmte Kurse oder Inhalte basierend auf wirtschaftlichen oder institutionellen Interessen anstatt auf den tatsächlichen Bedürfnissen der Studierenden vor.

Ausnutzung der Schutzbedürftigkeit einer Person

Beispiel: Eine Hochschule setzt eine KI-gestützte Prüfungssoftware ein, die durch Gesichtserkennung und Eye-Tracking prüft, ob Studierende während Online-Klausuren mogeln. Studierende mit bestimmten Behinderungen (z. B. Sehbehinderungen oder motorischen Einschränkungen) haben dabei eine höhere Fehlerquote, weil sie sich anders verhalten und damit ggf. Muster erfüllen, aufgrund derer die KI-gestützte Software Mogeln unterstellt. Der Einsatz der KI in der Prüfungssoftware führt auf diese Weise zu einer erheblichen Benachteiligung dieser Studierendengruppe und nutzt ihre Schutzbedürftigkeit aus.

Schlechterstellende Einstufung auf der Grundlage sozialen Verhaltens, persönlicher Eigenschaften oder Persönlichkeitsmerkmalen

Beispiel: Es wird ein KI-System eingesetzt, um Bewerbungen für ein Förderprogramm oder einen bestimmten Studiengang zu bewerten. Die KI bezieht neben fachlichen Qualifikationen auch Persönlichkeitsmerkmale in die Bewertung der Bewerbungen ein, um die Zuteilung der Studierenden zu dem Förderprogramm bzw. Studiengang vorzunehmen. Aufgrund des Blackbox-Charakters der KI bleibt jedoch undurchsichtig, wie genau diese Einstufungen zustande kommen. Zudem könnte ein Bias innerhalb der Trainingsdaten dazu führen, dass bestimmte Persönlichkeitsmerkmale systematisch schlechter bewertet werden. So könnten beispielsweise weniger extrovertierte Personen vom Algorithmus der KI benachteiligt werden, obwohl dieses Persönlichkeitsmerkmal keinen negativen Einfluss auf die auszuführende Tätigkeit hat.

Ableitung von Emotionen einer natürlichen Person am Arbeitsplatz und in Bildungseinrichtungen

Beispiel: Es wird ein KI-System eingesetzt, um die Leistung in einer Präsentation zu bewerten. Die KI misst Stimmhöhe, Tonfall und Sprechtempo, um Nervosität oder Selbstbewusstsein zu erkennen und um darauf basierend zu bewerten, ob jemand überzeugend, unsicher oder ängstlich gewirkt hat. Auf diese Weise entsteht ein Überwachungsdruck für die Person, denn auch Fehlinterpretationen der KI können zu falschen Bewertungen der Person führen.

Datenbank zur automatisierten Gesichtserkennung

Beispiel: Es wird ein KI-gestütztes Gesichtserkennungssystem eingesetzt, das Kameras auf dem gesamten Campus nutzt und auf eine Datenbank mit Gesichtsmerkmalen aller eingeschriebenen Studierenden zugreift. Jede Bewegung der Studierenden wird erfasst und auffälliges Verhalten analysiert.

Biometrische Kategorisierung von Personen in sensiblen Bereichen

Beispiel: Es wird ein KI-System eingesetzt, dass das Tippverhalten oder die Mimik und Gestik (Visual Analytics) der Mitarbeitenden analysiert, um Rückschlüsse auf deren psychische Gesundheit oder mögliche Behinderungen zu ziehen. Solche Informationen könnten für Personalentscheidungen missbraucht werden.

Predictive Policing

Beispiel: Es werden Videos von Überwachungskameras mittels KI analysiert, um potenzielle Sicherheitsrisiken vorherzusagen. Die KI erkennt „möglicherweise verdächtige“ Bewegungsmuster oder Gruppierungen auf dem Campus und nutzt Vergleichsdaten aus früheren Vorfällen, um vorherzusagen, wer potenziell Regelverstöße wie z. B. Vandalismus oder Diebstahl begehen könnte. Einzelnen Personen könnten auf diese Weise falsche Absichten unterstellt werden.