Можно ли быть несогласным с ЛГБТ, не получая ярлык "гомофоб"?

Да, можно.

Вот определение толерантности:

«Толера́нтность (от лат. tolerantia — терпение, терпеливость, принятие, добровольное перенесение страданий) — социологический термин, обозначающий терпимость к иному мировоззрению, образу жизни, поведению и обычаям. Толерантность не равносильна безразличию. Она не означает также принятия иного мировоззрения или образа жизни, она заключается в предоставлении другим права жить в соответствии с собственным мировоззрением.»

Толерантность не означает принятия мировоззрения.

Она означает лишь принятия права других жить согласно их мировоззрению.

Если не согласны, я бы всё таки назвал вас гомофобом.