Если прямо простым языком, то нейронная сеть - это не более чем какая-то математическая функция, только самую малость сложнее, чем те, что в школе в седьмом классе проходят. Вот пример какой-то усреднённый, потому что вариаций масса (от страшных слов, вроде многослойный перцептрон, до каких-нибудь сверточных нейронок, распознающих котиков на картинке).
Берём какой-то набор чиселок (как уже было сказано, нейронка - это математическая функция, чаще всего оперирующая чиселками, поэтому даже фотографию котика нужно представить как числовую матрицу). Берём и изо всех сил делаем какое-то линейное преобразование (ещё страшное слово). Для простоты возьмём самый простой вид нейроночки, в котором просто берём и наш массив умножаем на какую-то матрицу и получаем нечто. Но линейное преобразование - это слишком просто, а нам нужна сложная функция, чтобы и лысых котиков распознавала, и рыжих. Поэтому берём и от души сверху лепим нелинейное преобразование - оно сложнее и вообще крутое. Опять же, вариаций масса - от ReLU до сигмоиды (это уже гуглится).
Так и живём: умножение на матрицу - преобразование - умножение - преобразование... Чем больше такая цепочка, тем глубже нейронка.
Резонный вопрос: откуда берутся те самые матрицы, на которые надо умножать?
Тут в дело вступает обучение. Берёте вы десять гигабайт картинок с котиками и по очереди пихаете в нейронную сеть. Она их преобразовывает, получает на выходе какой-то числовой ответ, из которого следует, что на картинке Ленин. Но на картинке не Ленин - там котик, поэтому нейронка немного корректирует свои матрицы и пытается снова. Если с данными всё хорошо, то в итоге с такими математическими преобразованиями она научится "понимать", что котик - это котик, а Ленин - это Ленин.
Большинство сложных моментов с производными и градиентами я опущу, да и вообще, местные датасайентисты меня уже заминусуют за такое упрощённое объяснение с кучей неточностей, но, надеюсь, общую суть передал. Такие вот дела.