Нужно знать повседневные фразы, частично немного сленга, понимать как строятся предложения и что стоит за теми или иными понятиями.
Также, для "свободного понимания" необходим хорошо выработанный скилл ресерча, так как в многих мангах и аниме есть моменты узкотематичные, и без умения найти это в японском интернете вам не справиться.
Для всего этого достаточно уровня N3 Норёку. Да и с более низкими уровнями при достаточной усидчивости можно понимать в оригинале всё, но правда с 2-3 просмотра серии/главы.
Что такое Норёку?