Какую функцию ошибки использовать для нейросети, которая вычисляет "похожесть" 2х изображений? (похож/не похож, бинарная классификация)?
Для этого обычно используют Hinge loss. Суть в том, что обучающая выборка состоит из троек (target, positive, negative), где target - целевое изображение, positive - похоже на него, а negative - непохожее.
https://users.eecs.northwestern.edu/~jwa368/pdfs/deep_ranking.pdf