Datenschutz in der Softwareentwicklung mit KI berücksichtigen

Bärbel: Nehmen wir als Beispiel ein KI-gestütztes Adressverwaltungsprogramm. Erstens  muss geprüft werden, welche Daten verarbeitet werden und auf welcher rechtlichen Grundlage das geschieht. Zentrale Datenschutzgrundsätze wie Datenminimierung, Zweckbindung, Rechtmäßigkeit und Speicherbegrenzung müssen eingehalten werden.

Zweitens wird bewertet, welcher Risikostufe das KI-System zuzuordnen ist. Ein hohes Risiko besteht zum Beispiel bei KI-Systemen für Social Scoring, also Bewertungen, die sich negativ auf Personen auswirken können. Hochrisiko-KI-Systeme unterliegen seit der KI Verordnung besonders strengen Anforderungen, etwa erweiterten Transparenz- und Dokumentationspflichten bis hin zu behördlichen Kontrollen. Und drittens wird abhängig von der Risikoeinstufung eine Datenschutzfolgenabschätzung (DSFA) durchgeführt, um mögliche Risiken zu identifizieren und zu minimieren. Bei uns betrifft das nur wenige Projekte. 

Wie sieht das bei euren Anwendungen in der HEC aus?

Bärbel: Wir haben sowohl unser Projekt-Buchungssystem als auch unsere Microsoft-365-Anwendungen einer Datenschutzfolgenabschätzung unterzogen. Dabei wurde unter anderem geprüft, ob und in welchem Ausmaß Mitarbeitende geschädigt werden könnten.

Das Ergebnis ist jeweils eine Risikoeinschätzung inklusive geeigneter Gegenmaßnahmen – zum Beispiel die Anonymisierung von Daten, bevor eine KI damit arbeitet. In manchen Fällen bedeutet das auch, dass eine KI anders eingesetzt wird oder dass wir uns bewusst gegen eine KI-Lösung entscheiden.

Bärbel: Hier müssen wir besonders auf Datenminimierung und Zweckbindung achten. Die Daten werden ja von den Kunden bereitgestellt und oft handelt es sich um sehr persönliche und vertrauliche Informationen, wie beispielsweise in Anwendungen, in denen KI relevante Daten aus E-Mail-Verkehren mit Geschäftspartnern generieren und verarbeiten soll.

Als Dienstleister dürfen wir immer nur die Daten verarbeiten, die für das KI-Modell zwingend erforderlich sind. Ich nenne mal zwei Beispiele: Für ein Programm zur Optimierung von Schiffsabfertigungen haben wir die Daten von Schiffsbewegungen verarbeitet, was keine sensiblen Daten sind. Bei der Zuordnung von individuellen Fähigkeiten der betreffenden Mitarbeitenden haben wir dem Kunden von der Verwendung der personenbezogenen Daten abgeraten. Zweites Beispiel: Eine nicht zulässige Anwendung ist die Verarbeitung von Zeiterfassungsdaten mit allen Abwesenheits- und Krankheitsdaten, um Vorhersagen über die Einsetzbarkeit der Mitarbeitenden zu treffen. 

Die Zweckbindung der Datenerfassung spielt hier eine wichtige Rolle: Der Zweck muss klar dokumentiert und kommuniziert werden. Eine Weiterverwendung ist nur nach erneuter Prüfung zulässig. Daraus ergibt sich auch, wer Zugriff auf welche Daten benötigt. Hier gilt konsequent das Need-to-know-Prinzip. Darüber hinaus muss grundsätzlich der Einsatz von KI verhältnismäßig, nachvollziehbar und erklärbar sein (Explainability). Dieses Thema besprechen wir frühzeitig mit den Entwicklungsteams.

Bei der Verarbeitung von sensiblen Daten ist zudem eine Datenschutzfolgenabschätzung verpflichtend. In Kundenprojekten empfehlen wir außerdem klare Vereinbarungen zur Auftragsverarbeitung und zur Nutzung sowie zur Kontrolle der Daten.

Wie gehen Kunden mit Zugriffsrechten um?

Bärbel: Das ist sehr unterschiedlich. Unternehmen aus dem medizinischen Umfeld oder Betreiber von Webshops mit Kundendaten sind meist sehr sensibel. Andere, deren Daten weniger geschäftskritisch sind, gehen oft sorgloser damit um. Unsere Empfehlung ist klar: Zuerst immer über die Zweckbindung der Daten nachdenken. Häufig schließen sich dadurch bestimmte Daten – und damit auch bestimmte KI-Einsätze – von selbst aus.