К этому много народу приложило руку. Сначала появился закон Дальтона, гласивший, что состав химических веществ постоянен. Это позволило ввести относительную шкалу атомных масс, приняв массу водорода, как самого легкого, за 1. *) Поначалу возникали некоторые проблемы, связанные с тем, что реальный состав веществ был точно неизвестен, скажем, воде долго приписывали формулу НО, соответственно массу кислорода получали равной 8. Но к середине XIX века шкала относительных атомных масс уже была известна более-менее точно. **)
Параллельно возник закон Авогадро для газов, из которого выросло понятие числа Авогадро - количества молекул в 1 моле вещества. Очевидно, что если поделить атомную массу на число Авогадро, получится масса одного атома, так что задача свелась к поиску значения этого числа. Первое более-менее точное значение было найдено в начале ХХ века из исследований броуновского движения.
Перейти от массы атома к массе ядра уже не слишком сложно. Надо вычесть массу всех электронов (опыты Томсона по определению m/e и Милликена по определению е) и сделать поправку на энергию взаимодействия электронов с ядром (E=mc^2, куда ж без этого).
Сегодня жизнь гораздо проще, массу атомов можно измерять напрямую на масс-спектрометре. Ионизированный атом запускается в магнитное поле, начинает двигаться по окружности, исходя из радиуса окружности находится отношение массы к заряду, а величину элементарного заряда мы знаем.
*) Кстати, в честь этого при работе с макромолекулами до сих пор говорят не "атомная единица массы", а "Дальтон".
**) Заодно стали играться с определением того, что считать за 1, так как выяснилось что через водород работать неудобно, а с ростом точности измерений числа перестали быть целыми. Сначала приняли кислород за 16, потом изотоп 12С за 12.
если поделить молярную массу на число Авогадро