По каким причинам Россия и США всё время соперничают и конфликтуют? Почему нельзя просто слиться в дружественном экстазе?

Основная причина связана с сформировавшимися образами врагов друг для друга. Корни это берет из борьбы коммунистического и капиталистического строя. 
После распада СССР по факту, мы перестали быть коммунистической страной, но взгляды многих людей в мире на этот счет остались. Точнее притупились, после того, как мы, с горем пополам, пытались стать частью мира капитализма. Поэтому в этот период нас связывали с США более или менее партнерские отношения (по большей части это они помогли нам выстроить рыночную экономику). 
Но в нынешнее время (даже немного раньше, после смены направления внешней политики Кремля), когда мы стали активно и свободно, и даже чересчур своевольно и не по правилам, действовать на мировой арене, то тут же все вспомнили о советском прошлом. Возродили остатки представлений о России, как о враге, подкрепив нынешней агрессией, которая не свойственна странам нашего уровня развития.

По факту мы не всегда соперничали и конфликтовали, и Россия не всегда была Россией, если углубиться в нюансы вопроса. 

Дружественный экстаз может наступить лишь в том случае, когда наша страна, либо примет общемировые правила игры, либо ослабит геополитические амбиции до приемлемого уровня и обратит свой взор на внутренние проблемы, тогда вдруг появится у нас желание дружить с кем-то, не желание, а даже нужда, и особенно с США.