Влияют 2 фактора.
Первый - это то , что из-за сопротивления воздуха наше падение - не равноускоренное движение, кроме того для каждого тела есть предел скорости , выше которого он при свободном падении не разгонится. И эта максимальная скорость падения зависит как от массы тела так и от его формы. В общем , у маленьких тел эта скорость маленькая.
Второй фактор - это соотношение того , как увеличиваются нагрузки и предел прочности от размера.
Нагрузки, в том числе и при падении , зависят от массы. Масса в свою очередь от объема , а объем пропорционален кубу линейных размеров . Тоесть если увеличить линейные размеры тела в 2 раза , то объем ( и масса , и нагрузки, в т.ч. и при падении) увеличатся в 8 раз. если размер в 10 раз - нагрузки в 1000 раз.
При этом предельные , максимально допустимые нагрузки , в общем случае, пропорциональны площади поперечных сечений. Которая пропорциональна квадрату , а не кубу линейных размеров. Потому увеличив размеры в 2 раза, мы увеличим прочность в 4 (а не 8) раза. А увеличив размер в 10 раз , прочность возрастет в 100 (а не 1000) раз. Потому и вообще , чем больше тело , тем хуже оно выдерживает нагрузки ,связанные с собственным весом ( в том числе и при падении) , и это умножается на тот факт, что у меньшего тела значительно меньшая скорость при падении, что тоже уменьшит возникаемые нагрузки.