TÜVIT, ein Unternehmen der TÜV NORD GROUP, entwickelt Prüfmethoden für Large Language Models (LLMs), die bei gängigen generativen Pretrained Transformers (GPTs) zum Einsatz kommen. Seit der Einführung von ChatGPT verbreiten sich Anwendungen generativer künstlicher Intelligenz (KI) rasant. Laut einer Forsa-Umfrage im Auftrag des TÜV-Verbands hat gut jede:r Dritte in Deutschland bereits ChatGPT genutzt. Mit der Entwicklung von Prüfmethoden leistet TÜVIT einen wichtigen Beitrag, um die kommenden Regulierungen aus dem europäischen AI Act für Entwickler:innen und Anwendende umsetzen zu können.
„Potenzielle Risiken von Large Language Models sind unbestimmte Zuverlässigkeit, die schlechte Qualität von Ausgaben und irreführende sowie fehlerhafte Informationen solcher KI-Systeme. Dadurch besteht die Möglichkeit, dass falsche Informationen verbreitet werden“, erklärt Dirk Kretzschmar, Geschäftsführer von TÜVIT. Auch die Gefahr von Bias in entsprechenden Modellen bestehe, wenn die Trainingsdaten nicht angemessen überprüft würden. Hier geht es vorwiegend um rassistischen oder sexistischen Output von KI-Systemen. „Solche Risiken könnten zu gesellschaftlichen Auswirkungen führen, sobald solche ungeprüften Modelle von einer globalen Bevölkerung genutzt werden“, so Kretzschmar weiter. Large Language Models sind auch Angriffen ausgesetzt. Dazu gehören Privacy Attacks, Evasion Attacks und Poisoning Attacks. Diese Angriffe zielen darauf ab, persönliche Daten zu extrahieren, das Modell fehlzuleiten oder absichtlich falsche Daten in das Modell einzuführen.
Um diesen Herausforderungen entgegenzuwirken, entwickelt TÜVIT geeignete Methoden nach aktuellem Stand der Forschung, um entsprechende Anwendungen zu prüfen, bevor sie zum Einsatz kommen. „Wir prüfen nicht, was solche Systeme besonders gut können, sondern wo ihre Schwachstellen liegen“, so Kretzschmar. Ein Large Language Model hat immer eine spezifische Anwendung beim Kunden. Deshalb definieren die Expert:innen von TÜVIT die prüfenden Kriterien je nach Kundenanforderung und den notwendigen regulatorischen Anforderungen (EU AI Act). Anschließend bestimmen sie die relevanten Bereiche und potenzielle Angriffe. Darauf aufbauend erstellen die Prüfer:innen Datensätze und Methoden und schauen sich die Qualität der Antworten sowie mögliche Verzerrungen an. Dazu führen sie eine umfassende Datenanalyse durch, die öffentliche und kundenspezifische Datensätze sowie eigens generierte Angriffe umfasst. Dies hat Ähnlichkeiten mit dem traditionellen Pen Testing (Penetrationstesting), bei dem die TÜVIT-Expert:innen kontinuierlich versuchen, in das System einzudringen und Schwachstellen zu identifizieren, in dem sie verschiedene Angriffe durchführen. „Wir sind bestrebt, die Risiken von Large Language Models durch umfassende Prüfungen zu minimieren. Dies ist ein wichtiger Baustein zur Umsetzung künftiger Regulierungen und stärkt zugleich das Vertrauen in diese neue Technologie“, erklärt Kretzschmar.
Über die TÜV NORD GROUP
Vor über 150 Jahren gegründet, stehen wir weltweit für Sicherheit und Vertrauen. Als Wissensunternehmen haben wir die digitale Zukunft fest im Blick. Ob Ingenieurinnen, IT-Security-Experten oder Fachleute für die Mobilität der Zukunft: Wir sorgen in mehr als 100 Ländern dafür, dass unsere Kundinnen und Kunden in der vernetzten Welt noch erfolgreicher werden.
