Ein maskierter ViT für die Personen-Re-Identifikation

Re-ID in einem Satz

Anhand des Fotos einer Person soll dieselbe Person in einer Galerie anderer Aufnahmen gefunden werden.

Der Trick mit den Masken

Der Hintergrund fügt Identitätsmerkmale hinzu, die schlecht generalisieren. Deshalb erhält der ViT zusammen mit dem Bild eine Segmentierungsmaske, wodurch sich die Aufmerksamkeit des Modells auf die Silhouette richtet. Das hat zwei Effekte:

• weniger Fehltreffer durch ähnliche Hintergründe;
• höhere Robustheit gegenüber Blickwinkel und Beleuchtung.

Die Demo auf dieser Website läuft mit synthetischen Daten, echte biometrische Bilder werden nicht verarbeitet.