Künstliche Intelligenz tut nicht immer das, was sie tun sollte. Und oft können die Menschen, die sie entwickelt haben,  nicht einmal genau sagen, warum das so ist. Denn Systeme, die auf maschinellem Lernen basieren, haben sich anhand von Trainingsdaten mehr oder weniger selbst beigebracht, wie sie die ihnen zugewiesenen Aufgaben lösen sollen. Dann passieren manchmal solche Sachen:

Amazon musste feststellen, dass ein Algorithmus, der Jobbewerbungen einschätzen sollte, systematisch Frauen benachteiligte. Ein Chatbot von Microsoft verwandelte sich zum Holocaust-Leugner. Und die Bilderkennung von Google hielt Menschen mit dunkler Hautfarbe für Gorillas.

Dass solche Pannen erst passieren, wenn KI-Systeme schon veröffentlicht wurden, liegt auch daran, dass es keine Normen, Standards oder Richtlinien gibt, die KI erfüllen müsste. Ein Sicherheitscheck oder gar KI-TÜV ist nicht vorgeschrieben. Noch nicht.

In internationalen Arbeitsgruppen wird bereits um einheitliche Sicherheitsstandards gerungen. Und auch das Deutsche Institut für Normierung, kurz: DIN, hat im vergangenen Jahr eine „Steuerungsgruppe für die Normungsroadmap zu Künstlicher Intelligenz“ ins Leben gerufen. Sie soll Vorarbeit leisten, damit später Richtlinien erlassen werden können, die unsichere, angreifbare oder diskriminierende KI untersagen.

Mitglied in der Steuerungsgruppe ist auch Tarek Besold vom Berliner Start-up Neurocat, dessen CTO er ist. Er leitet außerdem den DIN-Normungsausschuss für KI. Und er hat dieses Amt nicht ohne Grund. Neurocat hat inzwischen ein 30-köpfiges Team und beschäftigt sich seit seiner Gründung vor drei Jahren fast ausschließlich mit der Frage, wie sich eigentlich feststellen lässt, welche Qualität Künstliche Intelligenz hat.

So lässt sich KI testen

Inzwischen hat Neurocat Werkzeuge entwickelt, mit denen geprüft werden kann, ob KI-Systeme sicher sind, niemanden diskriminieren und gute Ergebnisse liefern. Damit lässt sich klären, ob selbstfahrende Autos Fußgänger auch dann erkennen, wenn diese gemusterte T-Shirts tragen. Oder ob Industrieroboter auf Menschen mit dunkler Haut ebenso viel Rücksicht nehmen wie auf Menschen mit heller Haut. 

Zum Teil stieß das Team des Start-ups bei seinen Tests auch auf durchaus skurrile Mängel bei KIs, zum Beispiel bei Smart-Home-Assistenten, die auf Kommando die Haustür entriegeln. Denn nicht immer reagieren diese tatsächlich auf die gesprochenen Worte.

„Wenn das System nur auf den Rhythmus reagiert, könnte ich den richtigen Rhythmus von außen an die Tür klopfen – und der Assistent würde mir öffnen“, erklärt Tarek. „Wenn die Stimme ausschlaggebend ist, kann man mit Melodien unterhalb der Wahrnehmungsschwelle die Stimmintonation nachbilden und diese für uns nicht hörbaren Melodien in YouTube-Videos schmuggeln.“ Der Nutzer des Smart-Home-Assistenten muss also nur dazu gebracht werden, das Video anzuschauen – und die Tür geht auf. „Das hat bei unseren Tests zwar nicht immer funktioniert“, erinnert sich Tarek. „Aber es war reproduzierbar.“

Was ist eigentlich KI?

Ein Ziel der verschiedenen Arbeitsgruppen zur besseren Regulierung von KI ist es, standardisierte Testansätze zu entwickeln, die Programme durchlaufen müssen. Darauf basierend könnten Richtwerte festgelegt werden, die Produkte einhalten müssen, um zugelassen zu werden. Doch bevor es dazu kommt, müssen auch noch ziemlich grundsätzliche Dinge geklärt werden.

„Momentan gibt es noch nicht einmal einen allgemein akzeptierten Begriff dessen, was maschinelles Lernen oder Künstliche Intelligenz überhaupt sind“, sagt Tarek.