К сожалению да.
Существует несколько способов отслеживания, в основном они связаны с анализированием сигнала поступающего с вышек сотовой связи, точность определения местоположения обычно ниже чем у GPS. Существуют так же специальные пеленгаторы и сервисы, все они как правило платные, и к несчастью ими могут воспользоваться в корыстных целях.
От такой слежки спасет авиарежим, либо выключение телефона, сигнал перестанет поступать, а значит передавать координаты ваших перемещений.
Будьте аккуратны, и не оставляйте свой номер где попало.