Как бы это банально не звучало, но как и сейчас - с помощью войск
Тогда для многих государств этот вопрос стоял более остро - ведь если твой сосед не более-менее цивилизованное государство, от которого нужно защищаться, то это кочевой и племенной мир, от которого тоже нужно защищаться - иначе дело может закончится плохо - например, Аккадское государство пало из-за набегов кутиев, Царство Шумера и Аккада так же не выдержало набегов племена амореев; ну и конечно Египет, который так же проморгал угрозу и в итоге там власть захватили гиксосы.
Другой вопрос, что границы государства в древние и средние века - не то, что границы сейчас. Тогда это скорее территории, которые государство способно держать под контролем. Как Вы прекрасно понимаете, до юридических каких-то договоренностей дело доходило редко; разве что во время конфликта Египта и Хеттов там, если я не ошибаюсь, они после Битвы при Каддеше как-то разграничили свое пространство, но тут я могу ошибаться