Потому что нет никакого "сознания". То что мы называем словом "Я" - это артефакт нашей картины мира. Мы отделяем себя от окружающей реальности потому что так удобнее в этой реальности ориентироваться. Особенно это удобно в социуме.
На самом деле, у нас есть куча математических моделей интеллекта. Глубокие нейросети, байесовы сети, генетические алгоритмы всех форм и топологий. Многие из этих алгоритмов уже сейчас превосходят человека по ряду параметров. Единственная причина, почему они не могут поговорить с вами о погоде - они слишком чужие.
Они никогда не были в реальном мире, у них нет социальных и прочих инстинктов и навыков, присущих нам с рождения или развившихся в первые месяцы жизни, потому что наш мозг за миллионы лет эволюции достиг в этом совершенства. Такие вещи, как ориентация в пространстве, моторные и социальные навыки, эмпатия, моральные ценности. Всем этим вещам эти системы по-немногу обучают, но по отдельности. А то, что мы называем эмоциями, у них заточено под выполнение определённых задач.
Создать искусственный мозг, достаточно крутой, чтобы понять всё многообразие реальности на достаточном уровне, чтобы поговорить с нами об этом, без всех этих костылей, предусмотренных природой - непростая задача. К тому же, существует немалая вероятность, что такой сверхразум просто не захочет с нами говорить. Мы по сравнению с ним будем как насекомые.
Почему нет? Враг из компьютерной стрелялки, который прибегает на звук твоего выстрела, говорит "мастдай!" и начинает палить в тебя, вполне реализует математическую модель сознания – отчётливо эмулирует сознательную деятельность :) Модель эта, конечно, примитивная, но на то она и модель, – причём для сферы своего применения это вполне рабочая модель.