Medical and AI Security

Mit der zunehmenden Verbreitung von Künstlicher Intelligenz in sicherheitskritischen Anwendungsbereichen entstehen neue Anforderungen an die IT-Sicherheit. Insbesondere in der Medizintechnik und in medizinischen Entscheidungsprozessen können Angriffe auf KI-Systeme erhebliche Auswirkungen auf Diagnose, Behandlung und Patientensicherheit haben.

Der Forschungsschwerpunkt Medical and AI Security betrachtet die Sicherheit von KI-Anwendungen ganzheitlich entlang des gesamten KI-Lebenszyklus: von der Datenerhebung und Modellierung über das Training bis hin zum Einsatz in realen Systemen. Ziel ist es, Bedrohungen und Angriffe auf KI-basierte Anwendungen systematisch zu analysieren, die Robustheit neuronaler Netze zu bewerten und Sicherheitsrisiken beim Einsatz von KI in bestehenden Prozessen frühzeitig zu identifizieren. Dabei werden sowohl Angriffe betrachtet, die gezielt Klassifikationen manipulieren können, beispielsweise bei der Erkennung von Tumoren, als auch Angriffe auf Daten, Modelle und die zugrunde liegende Infrastruktur.