Корень -фоб- (-phobe-) означает страх или ненависть, когда речь идет про людей. К фобиям в психологии не обязательно имеет прямое отношение.
Скорее всего потому, что ненависть к чему либо пораждается страхом этого чего-то. Ненависть порождает страх, а страх - ненависть. Это замкнутый круг