Как хамелеон понимает, в какой цвет ему нужно поменяться, чтобы его не заметили?

Важный момент, поэтому вынесу из комментария:

Экспериментально доказано, что изменение происходит по схеме:

1. воспринял глазами

2. мозг обработал

3. дал сигнал к изменению

Доказывается перерезанием нервов, экспериментами с анестезией.

Так что изменение цвета это полноценный способ коммуникации.

Да, также экспериментально доказано, что хамелеоны общаются друг с другом изменениями цвета.

Это было бы невозможно, если бы тут работала только кожа.

Почитать кратко, например, здесь.

А вопрос как именно мозг понимает, что красный цвет это красный и нужно подать определенный сигнал по нервам -- скорее всего это изначально метод проб и ошибок.

Как мы слышим "ляяя" и в ответ можем спеть "ляяя" -- примерно также. Распознавание звуков и управление голосовыми связками, на самом деле, не проще и не сложнее принципиально, чем распознавание цвета и управление клетками хроматофорами. Это другой орган коммуникации.