Да, Y-хромосомный Адам (т.е. мужчина, потомками которого являются все современные мужчины) существовал. Но его современники свой след в генах современных людей оставили и достаточно солидный. Просто с течением времени линии их мужских потомков пресеклись (как и линии женских потомков современниц митохордиальной Евы).
При желании можно написать небольшую программку, которая продемонстрирует, насколько быстро происходит сохранение только одной мужской/женской линии, в зависимости от изначальной величины популяции, плодовитости, продолжительности жизни etc.