"Летим" и "скорость" понятия вообще относительные, в одних системах отсчета мы вообще не летим, а относительно других точек и в других системах отсчета - летим с околосветовой скоростью. Так что без указания точки отсчёта разговор о движении и скорости не имеет смысла.
Сразу после большого взрыва и формирования измерений нашего пространства расширение было действительно намного более быстрым. Но при этом ни нас ни нашей планеты ни нашей звезды ни даже нашей галактики вообще и в помине не существовало. Даже вещества в привычном нами виде не было - не было ни молекул ни даже атомов. Потому не понятно о каком "мы " можно говорить.
А замедлилось это расширение из-за гравитации, которая стремится слепить всё обратно "в кучу". И учитывая что вселенная сейчас расширяется и с ускорением , что-то этой гравитации мешает "слепить" всё обратно в "одну кучу" тем самым "вернуть всё в зад". Это "что-то" учёные пока назвали "тёмной энергией", но это уже совсем другая история.
"Темная энергия", "Темная материя" и "Теория струн" - термины придуманные "учеными" для подгонки своих псевдотеорий.