Говорят, что кошки (как и собаки, лошади и дети) чувствуют хороших и плохих людей. К хорошим они идут на контакт, а от плохих стараются держаться подальше. Это может и быть одной из причин (но доверять этому в полной мере не стоит).
Еще, что не менее интересно, может быть такое, что ваш кот увидел конкурента в лице этого конкретного человека и своими действиями пытается показать, кто здесь главный. Понаблюдайте за вашим питомцем. Может ваш конкретный человек своими действиями ставит под сомнение авторитет кота.
А что такое "хороший человек" и "плохой человек"?