Почему в протоколе IPv4 под сеть loopback (для связи внутри одного узла сети) отведено так много адресов (/8 или 16777216)?

Да, читая в RFC5735:

127.0.0.0/8 - This block is assigned for use as the Internet host loopback address.  A datagram sent by a higher-level protocol to an address anywhere within this block loops back inside the host. This is ordinarily implemented using only 127.0.0.1/32 for loopback.  As described in [RFC1122], Section 3.2.1.3, addresses within the entire 127.0.0.0/8 block do not legitimately appear on any network anywhere.

логично задаться вопросом, а не погорячились ли ребята, оттяпав такой изрядный кусок адресного пространства — 16777216?

Сеть 127/8 предназначалась для разработки, отладки, тестирования и симуляции взаимодействия клиентских и серверных приложений разом на одном хосте. Хоть это и не 16 млн. адресов, но уж всё-таки больше, чем один loopback адрес.

Наиболее свежая спецификация RFC8029 подробнее остальных говорит об этом:

• тут суммируются более ранние указания, что эта сеть резервируется целиком, чтобы диагностические пакеты не попадали в нормальную сеть, чтобы всё оставалось внутри. «This helps to ensure that diagnostic packets are never IP forwarded», — заключают они.
• дополнительно поясняется, что адресов зарезервировано много, обеспечить гибкость при тестировании, когда происходит балансировка нагрузки (LSP) и доставка параллельными путями (ECMP). Т.е. можно не только использовать несколько получателей в этой сети, но и гибкую маршрутизацию между ними.
  Однако, всё равно 16 млн. кажется слишком толстым куском (реальная локальная сеть 192.168/16 всего 65 тыс.). Учитывая, что подробное объяснение этому появляется только в самых поздних версиях стандарта, логичнее всего ответить на вопрос «почему» — они действительно немного погорячились, но назад пути нет. Теперь нужно целиком резервировать эту сеть, чтобы изолировать от остальных.