Запись аудиокниги, или выдержек из книги, является переработкой произведения. По закону, переработка произведения - это один из видов его использования, а использование произведения - это исключительное право автора (правообладателя). Соответственно, третьи лица могут делать это только на основании заключенного с автором договора.
Отвечая на ваш вопрос - да, эти действия нарушат исключительное право автора и позволят ему не только требовать удаления аудиозаписи, но еще и взыскать с нарушителя денежную компенсацию (которая в нынешних условиях может быть достаточно значительной).