Я думаю не стоит. По крайней мере не по этим причинам.
Нынешние телефоны обладают достаточной вычислительной мощностью, чтобы обеспечить большую скорость. Объем памяти тоже не критичен, более того, если писать всё необходимое самому, а не использовать готовые библиотеки и фреймворки, то размер вашего приложения будет весьма мал. С Озу дела обстоят так же.
Единственная причина, на мой взгляд, по которой использование NDK и С++ оправдано - это отсутствие функционала на Java. Как пример - библиотека компьютерного зрения OpenCV. Сейчас, конечно, уже есть готовый порт и под Java и под андроид, но раньше приходилось использовать именно C++