Я считаю, что нет, вы не опустились до его уровня, вы решаете конфликт в рамках закона. А если бы стали драться вы могли бы друг другу сломать что-нибудь и тогда было бы хуже напорядок.
А вообще странно, что он оскорбляет вашу жену и к вам же в дом лезет. Ну и кто кроме полиции, вас и соседа об этом будет знать? (если конечно у вас не деревня где все друг друга знают.)