Abstracts

Der Erfolg der Zukunftstechnologie KI wird maßgeblich daran hängen, ob es gelingt, Offenheit gegenüber Innovationen mit der Mitigation von Risiken und dem Aufbau von Vertrauen zu verbinden. Für all dies sind effiziente und zugleich wirksame Prüf- und Zertifizierungsmethoden von elementarer Bedeutung. Dabei wirft das Testen von KI jedoch seinerseits nicht nur eine große Reihe an hochkomplexen technischen Einzelfragen auf – auch das Feld „KI-Prüfung und -Zertifizierung“ in seiner Gesamtheit stellt uns vor viele Herausforderungen. Um dieses Feld soll es im vorliegenden Beitrag gehen. Vorgestellt wird ein neuartiger systematischer Gesamtansatz des TÜV AI.Labs, der in der Lage ist, das Aufgabenfeld der KI-Prüfung holistisch zu fassen und zu strukturieren.

Die Aufgaben und Herausforderungen, die sich in systematischer Perspektive an eine Erfassung des Gesamtfeldes „KI-Prüfung und -Zertifizierung“ stellen, sind vielfältig. Gefordert sind hierbei insbesondere:

1. eine schlüssige systematische Konstellation von Prüfkriterien, Prüfgegenständen und Prüfformen, die speziell auf die Prüfung von KI-Systemen ausgelegt ist und auch in der Lage ist, verschiedene Prüftiefen abzubilden
2. eine umfassende Ermittlung aller Prüfkriterien, um, einerseits, deren Vollständigkeit zu garantieren und, andererseits, eine bewusste und informierte Auswahl derselben zu gewährleisten
3. eine durchgängige und begriffstheoretisch korrekte Definition aller Prüfkriterien sowie angrenzender Begriffe, die, zum einen, anschlussfähig an bestehende Normdefinitionen sowie das gängige Verständnis in Wissenschaft, Prüf- und Testpraxis ist und, zum anderen, in sich konsistent und lückenlos ist

Der vorliegende Beitrag stellt in grundlegenden Zügen den Ansatz einer neuen Prüfmatrix vor, die in der Lage ist, den genannten Herausforderungen zu begegnen. Sie formuliert ein holistisches Framework für das Gesamtfeld „KI-Prüfung und -Zertifizierung“ und bietet eine Organisationsstruktur für die spezifischen Prüfmethoden und Testverfahren. Neben der Erfüllung der zuvor genannten Anforderungen bietet der Ansatz dieser Prüfmatrix darüber hinaus:

• eine Integration aller für die KI-Testung relevanten gesetzlichen Vorgaben (KI-Verordnung, sektorale Regulierung, wie etwa MDR, sowie angrenzender Vorgaben, z.B. DSGVO)
• eine Integration bestehender Prüfansätze und -kataloge mit dem Ziel der Anschlussfähigkeit wie auch der Vergleichbarkeit
• ein Instrumentarium zur gezielten und bewussten Ergänzung der gesetzlichen Vorgaben, beispielsweise um weitere ethische Prüfdimensionen oder Aspekte der Nachhaltigkeit von KI-Systemen
• erstmalig eine systematisch durchgängige Gesamtordnung aller KI-Prüfkriterien, anstelle einer bislang vielfach zu findenden losen Ansammlung oder Aufzählung dieser Prüfkriterien (wie z.B. Safety, Fairness, Explainability, Security, Performance usw.)
• ein in sich konsistentes, umfassendes und anschlussfähiges Framework an Begriffsdefinitionen für alle Prüfkriterien
• eine durchgängig mitgedachte Vermittlung zwischen abstrakter Begriffsebene und praktikabler Prüfmethodik, sodass einerseits der Anschluss an die Begrifflichkeit der gesetzlichen Vorgaben und andererseits die Umsetzung in der konkreten Testung von KI-Software-Systemen gewährleistet ist

Das vorgestellte Projekt ist ein Grundlagenprojekt zur KI-Prüfung und -Zertifizierung des TÜV AI.Labs. Das TÜV AI.Lab wurde im Jahr 2021 zunächst unter dem Dach des TÜV-Verbands gegründet und wird seit November 2023 als eigenständiges Joint Venture der TÜV-Unternehmen TÜV SÜD, TÜV Rheinland, TÜV NORD, TÜV Hessen und TÜV Thüringen fortgeführt. Das AI.Lab hat zum Ziel, die regulatorischen Anforderungen an KI in die Praxis zu übersetzen und Europa zum Hotspot für sichere und vertrauenswürdige KI zu machen. Hierfür entwickelt es quantifizierbare Konformitätskriterien und geeignete Prüfmethoden für KI. Zudem unterstützt das AI.Lab aktiv die Entwicklung von Standards und Normen für KI-Systeme.