Ну точно это ничем не регламентируется. В древних источниках ни оглавления, ни содержания (что в нашем языке по большей части одно и то же) не было. Но мне кажется, что более логично располагать оглавление (или содержание) именно в начале книги. Оглавление - это перечень глав и других составных частей книги. Когда мы берем книгу, то в начале открываем первые страницы. И было бы лучше, чтобы оглавление как раз располагалось там. Это удобнее.
Тоже самое можно сказать про оглавление научной работы, только там положено, чтобы оглавление находилось на первых страницах.
Оглавление в начале, чтобы быстро найти требуемое - для справочной/информативной/"серьезной" книги. Содержание - в конце, чаще в развлекательной литературе, чтобы не заспойлить, что ли.