WWW как часть URL не является ни формальным стандартом, ни технической необходимостью, и сейчас много где его уже нет. VK.com, как очевидный пример. Почему он есть - вопрос зачастую традиции или привычки. Часть других причин, почему он был/есть, описана в Википедии.
Про кодировку пробельного символа: самое главное, это описано в соответствующем стандарте, который жёстко задаёт структуру URI: RFC 3986.
Почему это так - я могу высказать пару предположений, ни одно из которых не основано ни на чём, кроме личного багажа и здравого смысла.
Во-первых, почему это нельзя взять и просто поменять это: есть такая штука, как базовая совместимость. Отдельный сайт может сказать пользователю "Ну привет, у тебя слишком старый браузер, потому мы тебя не пустим", но когда пользователь не сможет зайти на сайт из-за того, что где-то там возникли косяки с пробельными символами в адресе, если какая-то обработка адреса происходит на стороне клиента - это беда, которая всё очень сильно ломает.
Во-вторых, %20 мы можем глазами прочитать, а пробел, после которого ничего нет, не можем. Это создаёт простор для разного рода обмана, мошенничества.
В-третьих, многие программы могут использовать пробел в качестве разделителя между отдельными адресами. В таком случае пробел посреди адреса может что-нибудь сломать.