Теоретики литературы давно уже бьются над этим вопросом. Существует множество определений. Но однозначного ответа, применимого для всех случаев, нет. Рецептивная эстетика вообще говорит о том, что все зависит от восприятия. Если мы договорились считать литературным произведением математическую формулу, то значит и это литературное произведение. Но мы скорее всего не будем математическую формулу, напечатанную в учебнике математики, рассматривать как литературный текст, а если она окажется в сборнике стихов, то она поменяет свой статус, превратившись из формулы в текст. Мы будем искать какие-то смыслы.
Очень многие произведения 20 и 21 века как раз обыгрывают это представление, стараясь ускользнуть от попыток определить рамки литературности-не-литературности. Текст можно считать литературным, если его автор так определил, если его опубликовали в соответствующем издательстве или в художественном журнале/альманахе, если его цитируют и/или анализируют в качестве литературного.