На вопрос коротко, но четко, отвечает Максим Анисимович Кронгауз, профессор, доктор филологических наук, заведующий кафедрой русского языка, в 2000—2013 годах директор Института лингвистики Российского государственного гуманитарного университета (я просто транслирую его ответ, взятый с ФБ):
Если коротко, причин, по-видимому, минимум две, и они связаны между собой. Во-первых, жесткая централизация во всех отношениях: политических, социальных и культурных, - сложившаяся в России. Она требует единого языка (престиж литературного языка значительно выше). Это уже переход ко второй причине. Сознательная языковая политика советского периода, направленная на "единоязычие" (все должны говорить по-русски), а внутри русского языка на "безвариантность" (все должны владеть общим языковым стандартом - литературным языком, или, по крайней мере, те, кто рассчитывает на карьеру в городе).