Вопрос довольно интересный, поэтому давай копнем в самую суть.
Изначально при прочтении книги кажется, что Дурсли ненавидят Гарри и хотели бы от него избавиться любым возможным способом. Но почему? Да потому что они - маглы, причем такой особенный вид маглов, который питает бешеную ненависть ко всему волшебному. Возможно, причиной этой ненависти можно назвать банальную зависть и страх, которые, например, испытывала Петунья в детстве по отношению к Лили.
К Гарри Дурсли относились плохо не потому что его подкинули в их дом, а потому, что они боялись, что он окажется волшебником. По их наивному мнению, "волшебную дурь" из будущего мага можно выбить строгим воспитанием и хладнокровием, однако это тактика ошибочна: волшебство и топором не высечь.
Предположим, что дело происходит в реальном мире: магов нет, все люди - маглы. Родители Гарри действительно гибнут в автокатастрофе, и ребенка отправляют к единственным родственникам - Дурслям. Поскольку магов нет, а люди равны, то, думаю, стоит предположить, что Гарри Поттер вырос бы обычным подростком, таким же, как и все остальные. Угрозы как магл он не представляет для семьи, и потому выбивать "дурь" из него не придется, а значит, с ним и обращаться можно по-человечески.