Нация это определение гражданское, а не этническое. И афро-американец, и потомок ирландцев или итальянцев, в США это будет одна нация.
Смешения этносов образовывали часто новые, назовём их "диффузные" народы. Яркий пример - чуваши, представляющие собой смесь финноугорского и тюркского этносов.
Отдельного названия для такого процесса не нужно, все народы в принципе полиэтничны.