Согласно исследованиям, которые провели любитель-этимолог Барри Попик и профессор Джеральд Коэн из Миссурийского университета, термин возник в 1920-х годах. Его распространению способствовал спортивный обозреватель газеты «New York Morning Telegraph» Джон Фицджеральд, который впервые употребил его в номере от 3 мая 1921 года. 18 февраля 1924 года в колонке под названием «Вокруг Большого яблока» он объяснил, что услышал это выражение в Новом Орлеане. Лошади любят яблоки, а скачки в Нью-Йорке, по словам жокеев, — это «большое яблоко».
По другой версии, выражение возникло в среде джазовых музыкантов, у которых была пословица: «На древе успеха много яблок, но если тебе удалось завоевать Нью-Йорк, тебе досталось большое яблоко».