Да, с помощью телескопов ("Хаббла", например) мы действительно можем увидеть прошлое.
Так как ничто во вселенной не может двигаться быстрее света, а космос огромен настолько, что от ближайшей к нам звезды вне пределов Солнечной системы, Проксима Центавры, свет преодолевает расстояние до Земли за 4 с небольшим года, то, соответственно, с Земли мы видим то состояние Проксима Центавры, которое по факту было 4 года назад.
Аналогично и с другими объектами во вселенной с поправкой на расстояние до Земли. Например до звезды Сириус b (самая яркая на небе звезда) это 8.6 световых лет, а до Туманности Андромеды аж 2.5 млн. световых лет.