Если человек считает тебя врагом, а ты как бы к нему нейтрален, но мысль цепляет и постепенно зарождает конфликт. Как избежать такого?

Продолжай сохранять нейтралитет. Это будет сложно, ибо, если он захочет, то поднасрет тебе, в любом случае. Вообще, с такими людьми лучше сразу прекращать общение. Побереги нервы.