Unabhängige Sicherheitsprüfung für Frontier-KI

Frontier-KI: TÜV fordert unabhängige Prüfungen

Frontier-KI und autonome KI-Agenten sollen künftig unabhängig geprüft werden. TÜV-Verband und TÜV AI.Lab schlagen dafür eine neue Sicherheitsarchitektur mit dem deutschen KI-Sicherheitsinstitut AISI vor.

TÜV-Verband und TÜV AI.Lab fordern zur sicheren Prüfung von Frontier-KI unabhängige Kontrollen und eine stärkere Rolle des AISI.

  • TÜV-Verband und TÜV AI.Lab legen zum Digital-Gipfel ein gemeinsames Whitepaper vor.

  • Frontier-KI soll bereits während der Entwicklung und vor der Markteinführung geprüft werden.

  • Das deutsche KI-Sicherheitsinstitut AISI soll die staatliche Aufsicht mit unabhängigen Prüfungen verbinden.

  • Internationale Standards sollen Risiken begrenzen und die digitale Souveränität stärken.

Zum Digital-Gipfel der Bundesregierung fordern TÜV-Verband und TÜV AI.Lab eine unabhängige Prüf- und Aufsichtsstruktur für Frontier-KI und autonome KI-Agenten. Europa soll die Sicherheit leistungsfähiger KI-Systeme eigenständig bewerten können.

„Europa muss natürlich den Anspruch haben, eigene leistungsfähige KI-Modelle zu entwickeln. Aber wir müssen uns darauf einstellen, dass auch künftig ein erheblicher Teil der bei uns eingesetzten KI aus den USA und anderen Weltregionen kommen wird“, erklärt Joachim Bühler, Geschäftsführer des TÜV-Verbands,„Und bei deren Sicherheitsbewertung dürfen wir nicht allein auf die Angaben der Hersteller vertrauen, besonders wenn kritische Infrastrukturen und die nationale Sicherheit betroffen sind. Wir müssen selbst beurteilen können, welche Risiken mit ihrem Einsatz verbunden und welche Schutzmaßnahmen nötig sind. Digitale Souveränität bedeutet also nicht nur, eigene Technologien zu entwickeln, sondern auch, fremde Technologien unabhängig prüfen und beherrschen zu können.“

Wie soll Frontier-KI künftig geprüft werden?

Vorbild sind etablierte Prüfstrukturen für Fahrzeuge, Industrieanlagen und Medizinprodukte. Auch Frontier-KI soll während der Entwicklung, vor der Markteinführung und über den gesamten Lebenszyklus kontrolliert werden. Im Fokus stehen Fähigkeiten, Schutzmechanismen und das Verhalten unter realistischen Einsatzbedingungen. Dafür benötigen Prüfer Zugang zu Modellen, Trainingsprozessen und sicherheitsrelevanten Entwicklungsinformationen.

Erfahren Sie mehr zum Industrial Cyber Resilience Summit. Klicken Sie hier!

Warum unabhängige KI-Prüfer Zugang
zu Modellen brauchen

„Unabhängige Prüfer müssen den Sicherheitsversprechen der Entwickler auf den Grund gehen können“, erläutert Franziska Weindauer, Geschäftsführerin des TÜV AI.Lab. „Dafür brauchen sie Zugang zu den Modellen und Einblick in Training und Schutzmaßnahmen. Sie müssen unabhängig bewerten können, ob bestehende Risiken ausreichend mitigiert wurden. Und wenn KI eine Maschine steuert, müssen Fachleute für Maschinensicherheit mitprüfen. Sie können beurteilen, welchen Einfluss KI auf bestehende Sicherheitsmechanismen hat.“

AISI als zentrale Prüfinstanz

Das deutsche KI-Sicherheitsinstitut AISI soll schrittweise zu einer eigenständigen Institution mit ausreichenden Ressourcen ausgebaut werden. Es könnte Prüfmethoden entwickeln, Modellzugänge sicherstellen und Ergebnisse für Behörden aufbereiten. Unabhängige Prüforganisationen sollen technische Bewertungen übernehmen und ihre Expertise aus Industrie, Mobilität und Energieversorgung einbringen. Die staatliche Aufsicht bleibt bestehen.

Welche internationalen Regeln sind geplant?

Die TÜV-Organisationen fordern einheitliche EU-Sicherheitsanforderungen und abgestimmte Prüfverfahren mit Partnerstaaten wie Großbritannien, Kanada und Japan. Langfristig soll ein internationales Abkommen verbindliche Prüfungen und Risikogrenzen festlegen. Bei überschrittenen Risikoschwellen oder fehlenden Sicherheitsnachweisen sollen Entwicklung oder Bereitstellung ausgesetzt werden können. Eine internationale Aufsicht und ein weltweites Meldesystem für schwerwiegende KI-Sicherheitsvorfälle sollen die Einhaltung unterstützen.

Quelle: Mit Material vom TÜV-Verband

Was Sie zu Frontier-KI wissen müssen

Warum fordert der TÜV Prüfungen für Frontier-KI?

Damit Deutschland und Europa Sicherheitsrisiken unabhängig von Herstellerangaben bewerten können.

Welche Rolle spielt das AISI bei Frontier-KI?

Es soll Prüfmethoden unterstützen, Modellzugänge gewährleisten und staatliche Aufsicht mit unabhängigen Evaluationen verbinden.

Wie wird Frontier-KI in Maschinen geprüft?

Fachleute für Maschinensicherheit sollen Auswirkungen auf bestehende Sicherheitsmechanismen bewerten.

Welche internationalen Regeln sind für Frontier-KI vorgesehen?

Einheitliche Prüfverfahren, verbindliche Risikogrenzen und ein internationales Meldesystem für Sicherheitsvorfälle.

Wann soll Frontier-KI unabhängig geprüft werden?

Die Prüfungen sollen bereits während der Entwicklung beginnen, vor der Markteinführung erfolgen und den gesamten Lebenszyklus der KI-Modelle begleiten.