ну смотря в каких обстоятельствах. если вы там в транспорте где, иль на учёбе/работе, может, тупо "подзавис", а взгляд "остался там, где пробегал".
если же он подаё признаки жизни, например, моргает, вероятно, Вы ему дико кого-то напоминаете и он силится понять, кого - может, актрису, может, разыскиваемую преступницу..
если вы такие разминулись где-то, и он оглянулся и идёт спиной вперёд, неотрывно глядя на Вас (что Вы, конечно же, можете понять, использовав зеркало "заднего вида", скорее всего, у Вас диковинная причёска или задралась юбка/прочее подобное (со всеми бывает, никто не застрахован).
в общем, бояться следует только если он буравит Вас взглядом, появляясь в самых разных местах Вашего традиционного маршрута.