Как Badoo научился искать двойников знаменитостей?

Ответить
Ответить
Комментировать
1
Подписаться
1
1 ответ
Поделиться

Чтобы найти двойника по фотографии надо объединить две технологии: определения лиц и выделения черт лица.

Когда на фотографии определяется лицо, по нему собирается набор фич – черт. После этого формируется уникальное число, которое состоит из 320 цифр (вектор): им характеризуется весь набор черт лица на конкретной фотографии. Получение одного вектора занимает меньше секунды. Так в Badoo “обсчитывается” каждое лицо и ждет запроса от функции “Двойники” в базе данных.

Для поиска двойников используется нейронные сети. Они обучаются на лицах с фотографий, определяя схожесть лиц по схожести векторов. Задача сетки - повышать вероятность схожести лиц.

Самое сложное для технологии в данный момент - бороды и солнцезащитные очки. Глаза, овал лица, скулы и подбородок – принципиально важные фичи для определения внешности. Например, человек в очках для сети - это человек со странной формой глаз, и алгоритм уже подбирает людей по этой яркой схожести. Мы постоянно отлаживаем эту систему, так как понимаем, что мужчины любят бороды, а женщины - фотографии на пляже в солнцезащитных очках. Мы выставляем веса разным фичам и таким образом учим технологию заострять внимание на других чертах лица.

Сеть уделяет внимание не только стандартным фичам: глаза, нос, губы, но и неприметным для обычного взгляда: расстоянию от губ до носа, расстоянию между глазами, ширине бровей, высоте лба, форме скул и так далее. При этом, технология точнее той, что используют для прохождения пограничного контроля, где ориентируются на фронтальный вид и берут от 30 до 60 точек, у нас их в разы больше.

Чтобы найти двойника, технологии достаточно лица, повернутого в профиль. Она определяет видимую часть и воссоздает вектор всего лица. Сейчас похожее лицо можно найти, дополнив фронтальный снимок, где лицо повернуто почти на 90 градусов от камеры, а также если лицо наклонено по вертикальной оси или задрано.

25
-2
Прокомментировать
Ответить
Читайте также на Яндекс.Кью
Читайте также на Яндекс.Кью