В русском языке нет правильного слова для этого явления, но оно есть в английском - creepy. Эти вещи не страшные, а именно creepy. Дело в том, что страх - это вполне сознательное явление. Вы испытываете страх к грабителю, который может причинить вам боль, к собаке, к монстру. Это рациональное сознательное явление. Однако creepy - это не совсем рациональное чувство.
В этой статье academia.edu автор рассматривает этот вопрос с научной точки зрения. Многие респонденты, рассматривая (creepy) картинки, которые автор им показывает, говорят, что "этот образ что-то пытается от них скрыть" или "я не могу предвидеть, что он собирается сделать со мной". Именно поэтому самое сильное чувство creepiness вызывают вещи, которые не так далеки от нормальных, но содержат нечто, что противоречит их нормальному бытию. Например мягкая игрушка с зубами (weirdnutdaily.com), например улыбающаяся собака (ytimg.com), или клоун (fadedindustry.com), или кукла без глаз (nocookie.net).
Встречаясь с примерами подобной двойственности наш мозг не способен понять как ему реагировать. Вроде это клоун, но вроде бы что-то в нем есть странное. Это обычный когнитивный диссонанс, который вызывается невозможностью нашего мозга однозначно отреагировать на тот или иной образ. И именно это чувство может быть названо creepiness.
В кинематографе это используется очень широко. Например, в фильме Exorcist дъявольский облик девушки полностью сидит в ее голосе, который абсолютно не сочетается с ее внешностью, что и вызывает диссонанс. Джеймс Ван любит оживлять куклы, которые сами по себе обычно безвредны, однако наиболее страшны в его фильмах.
P.S. Есть даже известный график (wikipedia.org), показывающий как коррелирует наше восприятие образа со схожестью на обычного человека.
А слово "жуткий" разве не аналог "creepy"?
К написанному могу добавить еще такое явление, как Зловещая долина.
Википедия:
Эффект «зловещей долины» (англ.uncanny valley) — гипотеза, по которой робот или другой объект, выглядящий или действующий примерно как человек (но не точно так, как настоящий), вызывает неприязнь и отвращение у людей-наблюдателей.
Можно добавить еще, что клоуны, куклы и прчее подпадают под это понятие