Почему даже если относительно неплохо знаешь язык, так тяжело понять речь человека ?

Нехватка словарного запаса (даже если "относительно хорошо знаешь") и недостаточный объем работы с аудио. 

Чтобы заполнить такой пробел, стоит больше времени уделять аудированию, работать с вебинарами, интервью, подкастами и прочим аудио- и видеоматериалом, повторять за спикерами, расшифровывать прослушиваемое в письменную речь. 

Аудиокниги - неплохо, но для понимания живой речи лучше выбирать "живой" же материал, а не тот, что неторопливо и четко начитывается под запись. Проблемы будут возникать будут в любом случае, хотя бы из-за дикции или акцента того или иного спикера - но их будет все меньше. 

На что обращать внимание при работе с аудио:

• Интонации говорящего. Вслушивайтесь в тон, ставьте запись на паузу и пытайтесь повторить. Знакомьтесь с частыми интонационными моделями, разбирайте, как звучат вопросы, разбирайте эмоциональную окраску. 

• Фразовое ударение. Отмечайте, на каких словах в предложении спикером ставится акцент, улавливайте по контексту, в каких целях это делается.

• Артикли. Обращайте внимание на контекст, отмечайте, где ставится неопределенный артикль, где определенный, а где его нет вообще.

Чтобы научиться понимать на слух, надо помногу слушать, чтобы мозг научился воспринимать слова, невзирая на варианты произношения, акценты, дефекты речи. См. отличный пост тут, включая пункт 12-й о подкастах.

Сужу по собственному опыту: с пониманием прочитанного по-английски проблем не было, слуховое восприятие хромало. Где-то полгода тому назад я начал слушать подкасты на интересные мне лично темы, причем разноплановые в смысле акцента - британское произношение, американское и т. д. 

Подкастам я уделяю 1-2 часа (рекомендую приложение Podcast Addict, там можно искать по ключевым словам как подкасты, так и эпизоды). Могу свидетельствовать, что нынешний уровень восприятия на слух составляет процентов 90.