Если не идти на прямую конфронтацию, то шутливо всякий раз подхватывая: "Так, NN, не задерживаемся, папочку возьми, в среднем темпе, остальных не толкая, молодец, очень хорошо, немножко плечи расправь..." и т.п.
Это фактически вариант "пассивной агрессии", через "дружеские шуточки".
Вполне можно и наедине прямо сказать, что именно вас не устраивает. Действительно, то, что делает ваш коллега - попытка перехвата статуса, доминирования, и вполне себе агрессивная. Забавно, но он этого может не осознавать. То есть "тестировать границы допустимого": залезать на границы других в плане иерархии, доминирования, - это заложено в любого здорового щенка, ребёнка и взрослого. Весь вопрос, как на это вы реагируете. То есть можно спокойно внятно объяснить, что вам это неприятно, отчего именно неприятно (а чувствуете вы всё совершенно верно, это не глюк), - и, возможно, аккуратно, без угроз, пояснить, что если он продолжит, то наткнётся на то же самое уже с вашей стороны.