Guilty by Algorithm: wenn Algorithmen bei Banken Konten sperren oder nach „Gesichtserkennungen“ vermeintliche Täter generieren?

Quelle: https://de.m.wikipedia.org/wiki/Datei:Einsatzleitzentrale_der_Polizei_Berlin.JPG

NEW JERSEY – Was passiert, wenn ein Angeklagter per Gesichtserkennungssoftware „erkannt“ wurde und die Verteidigung aus Beweisgründen die Software analysieren möchte, um nachzuweisen, dass der Algorithmus fehlerhaft war, der Staat dies aber ablehnt, um die Unternehmensgeheimnisse der Herstellerfirma zu schützen?

.

.

Das Prinzip kennen viele Bürger aus Kontensperren durch Soziale Medien in der Covid-Zeit! Inzwischen gibt es jedoch den Unterschied, dass durch Algorithmen Menschen als Mörder oder Geldwäscher verdächtigt werden und ihnen einfach die Konten gesperrt werden.

Der Fall ist real:

Dem Gericht erster Instanz wird bei der laufenden Bearbeitung von Beweismitteln oder anderen vorgerichtlichen Angelegenheiten erhebliche Rücksichtnahme zugestanden. Payton v. N.J. Tpk. Auth., 148 N.J. 524, 559 (1997). Die Gerichtsordnung gewährt Angeklagten in Strafverfahren umfassende Beweismittel vorgerichtlich. State v. Scoles, 214 N.J. 236, 251-52 (2013).

Darüber hinaus wurde die im Antrag des Staates angesprochene Frage in State v. Arteaga, 476 N.J. Super. 36 (App. Div. 2023) behandelt (wo ein Angeklagter Anspruch auf Beweismittelerhebung in Fällen hat, in denen der Staat Gesichtserkennungstechnologie (FRT) einsetzt oder sich darauf verlässt). Der Staat bestreitet nicht, in diesem Fall FRT eingesetzt zu haben. Daher gilt Arteaga, und der Richter hat sein Ermessen nicht missbraucht, als er den Staat zur Vorlage der relevanten FRT-bezogenen Beweismittel zwang.

Und so etwas geschieht immer häufiger: Jemand wird verhaftet, steht vor Gericht und stellt fest, dass der Kronzeuge der Regierung ein unausgereifter Algorithmus ist, der in einem Keller im Silicon Valley entwickelt und von einem Richter abgesegnet wurde, der nicht einmal einen Videorekorder programmieren kann.

Aktuell tritt diese Konstellation in New Jersey auf, wo die Staatsanwaltschaft im Fall „ State v. Miles“ dieses Hobby auf ein neues, absurdes Niveau treibt.

Und auch noch zwei Fälle sind real: In der EU wurden durch Banken in Spanien und Frankreich Kundenkonten automatisiert gesperrt.

 

.

Was, wenn eine Künstliche Intelligenz behauptet einen Mörder identifiziert zu haben

In der neuesten Farce des Staates, in der sich Strafjustiz und Cyberpunk vereinen, wird in den USA Tybear Miles des Mordes an Ahmad McPherson im Jahr 2021 angeklagt. Worum geht es?

Am 5. Juni 2021 wurde Ahmad McPherson erschossen. Im Zuge der Ermittlungen sprachen die Strafverfolgungsbehörden von New Jersey mit einem Informanten, der den Verdächtigen als „Fat Daddy“ identifizierte. Der Informant gab den Ermittlern einen Instagram-Account, und die Strafverfolgungsbehörden konnten ein Foto von diesem Account abrufen. Nachdem das Bild in ein Gesichtserkennungssystem eingespeist worden war, lieferte das System als Treffer ein Fahndungsfoto des Angeklagten Tybear Miles. Die Strafverfolgungsbehörden zeigten das Bild dem Informanten, der es als „Fat Daddy“ identifizierte. Herr Miles wurde später wegen vorsätzlichen Mordes angeklagt.

Herr Miles beantragte die Offenlegung von Beweismitteln im Zusammenhang mit der Gesichtserkennung durch den Staat. Das erstinstanzliche Gericht gab Herrn Miles‘ Antrag auf Grundlage der Arteaga-Urkunde statt , und das Berufungsgericht bestätigte ihn. Der Staat legte Berufung beim Obersten Gerichtshof von New Jersey ein. Mit anderen Worten: der Staat verweigert bis in die höchste Instanz die Einsicht in die Bilderkennungssoftware!

Keine Beweise, nur eine KI-Gesichtserkennung

Das zentrale Beweisstück?

  • Keine Fingerabdrücke.
  • Kein Augenzeuge.

Ein Gesichtserkennungstreffer durch ein System, das so geheim ist, dass die Regierung der Verteidigung nicht einmal verrät, was es ist, wie es funktioniert oder ob es genauer ist wie ein Dartwurf eines Besoffenen.

Die Staatsanwaltschaft besteht aber darauf, Miles geschnappt zu haben, dank eines vertraulichen Informanten, der behauptete, „Fat Daddy“ sei der Mörder.

Guilty by Algorithm

Die Polizisten durchsuchten daraufhin Instagram, suchten ein paar Fotos heraus, gaben sie in ein Gesichtserkennungssystem ein und heraus kam Tybear Miles. Der Algorithmus gab seinen Segen, der Informant nickte zustimmend, und der Fall war abgeschlossen.

Lästige Verteidigung

Es gibt allerdings einen Haken: Die Verteidigung will sehen, wie die Zauberwurst hergestellt wurde. Verständlich, denn eine Gefängnisstrafe aufgrund der Ahnung einer Software ist nicht gerade der Goldstandard eines fairen Verfahrens.

Die Verteidiger haben um Einblick in das System gebeten: Fehlerraten, Datenbankqualität, Testprotokolle – alles, was den Unterschied zwischen Wissenschaft und Quacksalberei aufzeigen könnte.

Der Staat will sich nicht in die Karten schauen lassen

Die Antwort des Staates? Ein klares „Nein“. Offenbar würde die Offenlegung der Funktionsweise dieser Software die Vorgehensweise der Strafverfolgungsbehörden beeinträchtigen.

Auf geht’s zur Kavallerie! Bürgerrechtsaktivisten, die diesen Science-Fiction-Gerichtssaal schon zu oft erlebt haben, reichten eine gemeinsame Stellungnahme ein, in der sie im Grunde riefen: „Ein fairer Prozess ist nicht möglich, wenn die Beweise aus einer Blackbox stammen!“

„Suchen mittels Gesichtserkennung umfassen mehrere Komponenten und Schritte, die jeweils eine erhebliche Möglichkeit einer Fehlidentifizierung mit sich bringen“,

warnt das Schreiben und drückt damit vielleicht am untertriebensten aus:

„Das Zeug ist ziemlich verwerflich.“

Die Bürgerrechtsbewegung verweist auf eine kürzlich ergangene Berufungsentscheidung des New Jerseyer Berufungsgerichts.

Gerichte müsse das Selbstverständliche erst anordnen

Im US-Fall State v. Arteaga, kam das Gericht klugerweise zu dem Schluss, dass wir, wenn ein Computer jemanden eines Verbrechens beschuldigt, vielleicht wissen möchten, ob dieser seinen Abschluss am MIT gemacht hat oder an Clippys Akademie für fehlerhafte Algorithmen durchgefallen ist.

Dem Gericht erster Instanz wird bei der laufenden Bearbeitung von Beweismitteln oder anderen vorgerichtlichen Angelegenheiten erhebliche Rücksichtnahme zugestanden. Payton v. N.J. Tpk. Auth., 148 N.J. 524, 559 (1997). Die Gerichtsordnung gewährt Angeklagten in Strafverfahren umfassende Beweismittel vorgerichtlich. State v. Scoles, 214 N.J. 236, 251-52 (2013).

Darüber hinaus wurde die im Antrag des Staates angesprochene Frage in State v. Arteaga, 476 N.J. Super. 36 (App. Div. 2023) behandelt (wo ein Angeklagter Anspruch auf Beweismittelerhebung in Fällen hat, in denen der Staat Gesichtserkennungstechnologie (FRT) einsetzt oder sich darauf verlässt). Der Staat bestreitet nicht, in diesem Fall FRT eingesetzt zu haben. Daher gilt Arteaga, und der Richter hat sein Ermessen nicht missbraucht, als er den Staat zur Vorlage der relevanten FRT-bezogenen Beweismittel zwang.

Dieses Urteil legte dann auch den Grundstein für die Argumentation von Miles‘ Team, dieselbe Transparenz zu fordern. Man sollte meinen, das wäre selbstverständlich. Stattdessen erleben wir einen juristischen Showdown, um zu klären, ob die Freiheit eines Mannes von Geschäftsgeheimnissen und Unternehmensvertraulichkeitsvereinbarungen abhängt.

Ein weltweites Problem

Dies ist nicht nur ein Problem in New Jersey. Im ganzen Land nutzen Polizisten die Gesichtserkennungstechnologie still und leise, als wäre sie ein Cheat-Code in einem Videospiel, ohne Richter, Geschworene oder die Menschen zu informieren, die eingesperrt werden, weil ein Computer es ihnen gesagt hat.

In diesem Zusammenhang ist der Fall Miles weniger eine Anomalie als vielmehr ein Lackmustest. Sollte sich der Oberste Gerichtshof von New Jersey für die Geheimhaltung entscheiden, würde das nicht nur die Verteidigung eines Mannes schwächen. Es würde die Vorstellung weiter festigen, dass algorithmische Beweise über jede Überprüfung erhaben sind.

.

Was, wenn eine Künstliche Intelligenz automatisiert ein Bankkonto sperrt

derartige Fälle, in denen Algorithmen  automatisiert Bürgern deren Rechte wegnehmen geschieht auch in der EU, z.B. bei Facebook, Youtube etc.

Der ecuadorianische Kleinunternehmer Atilio Andrade hat in Spanien dieselbe Erfahrung gemacht wie der Imam Koffi Agodjro in Frankreich: Deren Bankkonten wurden plötzlich gesperrt und sie mussten gegen bürokratische Widerstände ankämpfen, um der Sache auf den Grund zu kommen.

Inzwischen hat das OnlineMagazin AlgorithmWatch mit der Nachrichtenagentur AFP recherchiert, ob in diesen beiden Fällen Algorithmen zu diesen Kontosperrungen führten. Deren Erkenntnisse sind in dem nun auch auf Deutsch verfügbaren Podcast Falsch Positiv nachzuhören.

Hierbei stellen die Lügen der Kreditinstitute ein großes Problem dar: