Что же плохого в том, если вы "иногда вспоминаете"? Главное, чтобы эти воспоминания не были мучительными, навязчивыми, и не мешали заводить новые отношения. Посему - учитывая свойство памяти идеализировать прошлое, ни в коем случае не "сравнивайте" новые отношения и старые.