Возможно, потому что окружающие могут подумать, что вы разговариваете с галлюцинацией, то есть с тем, кого на самом деле нет, а вы его видите, а галлюцинации - признак психического расстройства.