"Человеческое поведение" - довольно абстрактное понятие. В него можно записать, например, много математической физики, потому что такое поведение, как игра в футбол, может быть описано физически. С другой стороны, есть обширные разделы математики, посвященные довольно узким типам поведения, таким как голосование (теория общественного выбора это прежде всего математическая дисциплина).
Особенности именно поведения часто относят к двум разделам: теории принятия решений и ее же версии для взаимосвязанных решателей - теории игр. Теория игр это необязательно про дилемму заключенных, разнообразные сложности координации и коммуникации тоже можно отнести к ней. Более того, теория игр позволяет рассматривать динамику и эволюцию поведения, а не только конкретную ситуацию (так и называется "эволюционная теория игр").
С точки зрения моделирования обычно говорят не о разделах математики, а о методах, тут надо отдельно отметить многоагентное симулирование, которое хорошо именно для моделирования взаимодействия сложных объектов.
Для моделирования человеческого поведения нужно хорошо понимать его механизмы. Пока что они слишком сложны для биологов и психологов.
Поведение человека весьма разнообразно и зависит от масштаба (человек и предмет(понятие), человек и человек, человек и группа, человек и общество), состояния человека и множества других факторов.
Также сказывается недостаточность статистической базы.
Про теорию игр можно подробнее узнать на вебинаре 17-го февраля webinar.skyeng.ru (вебинар на английском), ведущий профессор математики Зеев Соболь.