Тянет Вас к нему по причине физической симпатии и психологической совместимости, а вопрос этот Вы задаёте потому, что ошибочно полагаете, будто влечение к человеку определяется исключительно общностью интеллектуальных интересов.
Утро доброе! Сложно давать ответ, имея так мало информации. Я склонен полагать, что вас привлекают личностные качества человека, а не его увлечения.