Прямо. Если вы не хотите общаться с человеком, значит, он вам больше не интересен, вы больше не дорожите этим общением, и, скорее всего, вам абсолютно всё равно, будут ли ваши отношения развиваться дальше в положительном ключе.
Поэтому, говорите прямо, как есть. Главное, не оставляйте отказ от общения без объяснения причин, человеку будет полезно понять, почему ваше общение не сложилось, чтобы избежать такого в будущем.