Потому что у каждого аккумулятора есть ограничение по току, превышение которого может его "убить". Для большинства малогабаритных аккумуляторов портативной техники нормой считается зарядный ток в 1/10 их ёмкости - хоть такое выражение и некорректно с точки зрения физики.
Например, для батареи емкостью 500 mAh нормальным будет ток около 50 mA, при емкости 25 mAh - соответственно, 2,5 mA.
При этом реальный ток по мере заряда аккумулятора падает экспоненциально - для его поддержания нужны специальные ухищрения.
Вот так и получается, что от емкости батарейки зависит зарядный ток - его приходится ограничивать, а не время заряда.