Говорить всё прямо.
Что дружбы - хотите, а ответить на его любовь большей, чем сейчас, интимностью, не хотите. Что он вам нравится, как друг, а как любовник или муж - нет, не хотите. И пробовать тоже не хотите.
Это ваши чувства и ваше право.
Опасаетесь, что уйдёт из вашей жизни? - Возможно. А возможно, нет.
Только я других вариантов вообще не вижу. Обещать, что вообще-то в будущем может быть - и ясно знать, что водите его этим за нос, чтобы сохранить рядом с собой? Так это про что угодно, только не про дружбу будет.