Думаю, что нужно ехать. Желание ваше, а вот страхи навязанные. Исходите из того, что большинство людей на земле хотят вам добра (так оно и есть) и путешествие пройдет фантастически.
Но перцовый баланончик всё-таки не забудьте ;-)
Думаю, что для начала вам будет полезно прочитать книгу
Александр Лучкин "На электричках: Путешествие из Владивостока в Москву"
Человек проехал всю страну, делится опытом и полезными советами.
Ну трудно решится всегда, у меня это ощущение страха перед поездкой не уходит, хотя, я проехал автостопом тысяч 12-15 ( на самом деле это не много)
Но страх проходит, когда начинаешь ехать, проверено)