Раньше, во времена первых компьютеров, так и программировали. Это возможно, только производительность труда программиста будет очень низкая, поэтому обычно так никто не делает. Но если, например, хакер хочет найти какую-то уязвимость в компьютерном процессоре, вроде знаменитой в своё время инструкции процессоров Intel Pentium MMX – F00FC7C8, приводившей к полному завешиванию системы, то ему приходится программировать именно на таком уровне. Для такой инструкции просто не существует никаких представлений, кроме числового кода. Естественно, и сами разработчики процессоров при необходимости используют такое представление программ.
Другое дело, что на практике для компактности записи вместо двоичной системы почти всегда используют шестнадцатиричную, но при этом всё равно думают об отдельных двоичных битах, представляя себе в уме двоичную запись каждой шестнадцатиричной цифры.
Потраченное время и трудоёмкость написания и отлаживания программы будет неадекватны поставленной задаче. Можно создать собственный автомобиль, начав с добычи железных минералов, выплавки стали и так далее.