Так, смотрите примеры в CNTK и TensorFlow. Вам подойдет вариация на тему MNIST и CIFAR-10, плюс там были алгоритмы, которые находили объекты на изображении - ими не пользовался.
Другое дело, вам понадобится база данных букв. Где её взять - не знаю, гугль в помощь.