Was ist normal? Die Gefahren künstlicher Erkennungsmuster

  • Künstliche Intelligenz soll helfen, brenzlige Situationen im öffentlichen Raum zu erfassen, bevor sie eskalieren.
  • Das klingt gut – möglicherweise lassen sich so Massenpaniken verhindern.
  • Doch was ist, wenn die KI das Verhalten Einzelner als anomal einschätzt?
Christian Honey
|
Anzeige
Anzeige

Die Sonne scheint, der Himmel ist blau, auf einer gemähten Rasenfläche laufen etwa 20 Menschen durcheinander wie in der Vorhalle eines Bahnhofs. Dann sprinten sie alle plötzlich auseinander. Dabei erscheint ein roter Schriftzug im Bild: „Anomalie erkannt.“ Die Szene gehört zu einer Sammlung gestellter Videos des UMN-Datasets der Universität von Minnesota in den USA. Der Datensatz wird von Sicherheitsforschern weltweit als Lehrmaterial für lernende Computerprogramme genutzt, die etwa Panik in Menschenmassen erkennen sollen.

Die Videos stehen für einen neuen Trend in der Forschung zur künstlichen Intelligenz (KI): die Anomalieerkennung. Die Technologie soll einmal Situationen in der Öffentlichkeit erfassen, bevor diese eskalieren. Das klingt gut, hat aber auch das Potenzial, unsere Grundrechte auszuhebeln.

An sich ist Anomalieerkennung nichts Neues. Lernende Algorithmen entdecken längst Kursschwankungen im Aktienhandel, Hackerattacken oder Kreditkartenbetrug. Doch seit einigen Jahren wenden KI-Forscher ihre Algorithmen auch auf Überwachungs­aufnahmen von Menschen an.

Weiterlesen nach der Anzeige
Anzeige

Wie genau erkennt die KI Abweichungen von der vermeintlichen Normalität?

Die Algorithmen, die dabei genutzt werden, sind so vielfältig wie das menschliche Verhalten selbst. Neben Cluster­algorithmen, die die Dichte von Menschen­mengen erfassen, kommen auch künstliche neuronale Netze oder Schwarm­algorithmen zum Einsatz, die Menschen als individuelle Objekte modellieren.

Gemeinsam haben sie alle, normales Verhalten in einem erlernten Modell zu definieren und dann Abweichungen von dieser vermeintlichen Normalität als Anomalien zu klassifizieren. Anomalien in Menschen­mengen können zum Beispiel bestimmte schwarmartige Bewegungen sein. Bei Einzelpersonen reichen die Verhaltens­auffälligkeiten von „falsche Gehrichtung“ über „Fahrzeuge auf einem Fußweg“ bis hin zu „Kampfverhalten“.

Denkt man an die Katastrophe bei der Love-Parade 2011 in Duisburg, bei der 21 Menschen starben und rund 650 verletzt wurden, erscheint die Technologie wie ein potenzieller Segen für die öffentliche Sicherheit. Doch sobald das Verhalten einzelner Menschen als Anomalie erkannt wird, kann auch die Freiheit des Individuums leiden.

So setzen manche Schulen in den USA heute ein System zur Anomalie­erkennung namens Avigilon ein, um für Sicherheit und Ordnung auf Schulhöfen zu sorgen. Das System der gleichnamigen Motorola-Tochter aus dem kanadischen Vancouver soll Personen identifizieren, die „aus dem Rahmen fallen“ oder „sich an Orten aufhalten, an denen sie nicht sein sollten“. Vorbei sind da die geheimen Treffen hinter der Turnhalle.

Und die Firma Axis Communications aus Lund in Schweden bietet sogar einen „Lungerdetektor“. Verweilt eine Person im Video länger als erwartet in einem bestimmten Bereich, schlägt er Alarm.

Selbst die Stimmung einzelner Menschen bleibt besonders wachsamen Algorithmen nicht mehr verborgen. So haben KI-Forscher aus dem britischen Cambridge gemeinsam mit indischen Kollegen im Juni 2018 auf der International Conference on Computer Vision and Pattern Recognition ein neuronales Netz vorgestellt, das Kampfverhalten in der Körperhaltung erkennen kann – mit immerhin 88,8 Prozent Genauigkeit.

Die Videos für ihre Versuche stammten von einer kleinen Drohne, wie manche Polizei­behörden sie zur Überwachung von Demonstrationen nutzen.

Welches Verhalten ist eigentlich anomal?

In der Genauigkeit liegt allerdings auch der Stolperstein der Anomalie­erkennung. Denn die Frage ist ja: Welches Verhalten ist eigentlich anomal? Das hängt bei Lernalgorithmen vor allem von den Daten ab, aus denen das System lernt. Datensätze wie das UMS-Dataset gibt es bereits viele, etwa die iLIDS-Datenbank der britischen Regierung mit Szenen von Londoner Überwachungs­kameras oder auch die UCF Crime Database der University of Central California mit 128 Stunden echter Szenen echter Straftaten.

Anzeige

Gemeinsam ist diesen Trainings­daten, dass sie für sogenanntes überwachtes Lernen kaum geeignet sind, also jener Lernform, bei der das Programm immer gesagt bekommt, ob es mit seiner Einschätzung richtig lag oder nicht. Der Grund: Viele Lern­algorithmen brauchen bei hoch­dimensionalen Daten wie Bildern oder Videos viele Millionen Trainings­beispiele, um etwa Hunde immer von Katzen zu unterscheiden.

Menschliches Verhalten ist aber noch weit komplexer. Ob unser Verhalten als normal gilt oder nicht, hängt nicht zuletzt stark vom Kontext ab: Im Bahnhof sprintet schon mal jemand zu seinem Zug, im Einkaufs­zentrum wäre das schon verdächtiger. Außerdem sind Anomalien naturgemäß Ausnahmen. Das macht es schwer, selbst in Hunderten Stunden Überwachungs­video genügend Trainings­beispiele zu finden.

„Man braucht immer menschliche Analysten“

Daher werden die meisten Anomalie­algorithmen heute nur darin trainiert, normales Verhalten zu „verinnerlichen“. Jede Abweichung von dieser erlernten Norm gilt dem Computer dann als potenziell verdächtig. Mit teilweise humoristischen Ergebnissen: So klassifizierte ein Algorithmus, den Forscher im Oktober 2019 im Fachmagazin „Sensors“ vorstellten, unter anderem folgende Objekte auf einem Gehweg als Anomalien: Skateboarder, Fahrradfahrer, Rollstuhlfahrer, ein laufendes Kind, eine Person, die Papierblätter in die Luft warf, und eine, die in die (angeblich) falsche Richtung lief.

„Jeder von uns tut jeden Tag etwas Neues“, sagt dazu Thomas Dietterich, emeritierter Professor für Informatik an der Oregon State University und einer der Mitbegründer des Maschinen­lernens. „Man braucht deshalb immer menschliche Analysten, die derartige Alarme begutachten und entscheiden, welche real sind.“

So kann die Anomalie­erkennung einerseits Vorteile bringen, etwa bei der Steuerung großer Menschen­mengen. Auf der anderen Seite erlaubt sie, jeden Abweichler in der Menge automatisch zu verfolgen. Ob zu Recht oder Unrecht.

“Staat, Sex, Amen”
Der neue Gesellschaftspodcast mit Imre Grimm und Kristian Teetz
  • Laden Sie jetzt die RND-App herunter, aktivieren Sie Updates und wir benachrichtigen Sie laufend bei neuen Entwicklungen.

    Hier herunterladen