Маскированный ViT для поиска похожих людей

Re-ID в одну строку

Задача состоит в том, чтобы по снимку человека найти его же в галерее других снимков.

Приём с масками

Фон добавляет в представление признаки, которые плохо обобщаются. Поэтому вместе с изображением ViT получает сегментационную маску, и внимание модели сосредотачивается на силуэте. Это даёт два эффекта:

• ложных совпадений из-за похожего фона становится меньше;
• модель устойчивее к смене ракурса и освещения.

Демо на сайте работает на синтетических данных, реальные биометрические изображения не обрабатываются.