В вопросе предположение о логичности неверной трактовки опирается на неверную интерпретацию структуры фразы.
Не [очень красивый] ≈ «Очень красивый, но не совсем»
На самом же деле структура выглядит иначе. Слово «очень» изначально не относится к слову «красивый»:
[Не очень] красивый ≈ «Некрасивый, но не смертельно»
То есть, «не очень» — это мягкая форма просто «не».
Это явление известно как синтаксическая неоднозначность и присуще большинству естественных языков в тех или иных ситуациях. Например, фразы Nice / Very nice / Not very nice в английском соотносятся между собой точно так же.
Лишены подобных проблем некоторые синтетические языки: в эсперанто или ложбане нет места синтаксическим неоднозначностям, но это уже совсем другая история.