Представьте себе, что есть некоторая ситуация, в которой может случиться N разных вещей (в теории N может быть бесконечным, но это уже чуть сложнее). Классические примеры — бросание монетки (2 различных исхода) или бросание кубика (6 различных исходов). Более жизненное — выборы. На президентских выборах с возможностью двух туров в первом туре может быть n+1 разных результатов (где n — количество кандидатов, а +1 указывает на возможность второго тура), а во втором туре — 2 разных результата. На парламентских же выборах N очень велико: это любое распределение мест между партиями. Далее, предположим, что мы знаем вероятность каждого возможного исхода (0,5 для каждой стороны «честной» монетки, 1/6 для каждой грани «честного» кубика). В зависимости от того, как устроены вероятности исходов (есть ли перекос в сторону одного конкретного исхода или нескольких исходов), результат проще или сложнее предсказать. Скажем, если благодаря опросам мы знаем, что один из кандидатов на президентских выборах гораздо популярнее всех остальных, его победу предсказать несложно, а если они все пользуются одинаковой популярностью, предсказать результат можно только гадательно: все исходы одинаково вероятны. Энтропия в теории информации описывает такого рода ситуации и дает нам возможность точно посчитать эту легкость предсказания: если вероятность какого-то исхода равно одному (а вероятность всех остальных, соответственно, нулю), то энтропия будет нулевая, а в общем случае она будет тем выше, чем равномернее распределены вероятности разных исходов.
Перефразируя ответ выше: энтропия - это неопределенность. Когда кидаешь монетку, энтропия меньше, чем когда кидаешь шестигранный кубик. Вот и всё.
Вот люблю, когда объясняют кратко