Нельзя считать его расистским, так как здесь имеется ввиду не цвет кожи, а понятия "черный люд" и "белый люд". Черные люди - это низы, крестьяне выполнявшие самую грязную работу. А белые люди - своеобразная противоположность.
Живу в Англии, тут этим словосочетанием пользуются что бы обозначить социальный статус, наверное. Скорее всего употребленное в предложении "белый человек" будет автоматически намекать на некий расизм в продолжении предложения ..