Потому что не доверяют незнакомцам, и боятся, что мужчина окажется каким-нибудь хулиганом. С детства нас учат: "с незнакомыми дядями не ходи, дверь не открывай, в машину не садись", а в эпоху интернета, нашу неуверенность в искренности прохожих подпитывают новости об убийствах, грабежах, мошенничестве и т.д.
Просто есть страх, что мужчина выхватит сумку и убежит.