С каких книг мне следует начать изучение демонологии?

Прежде чем лучше определиться с тем является ли демонология наукой и что вы собрались изучать. Как бы там ни было, но для науки и академической среды существование демонов, как и всего сверхъестественного, ставится под сомнение, если не сказать еще более прямо, отрицается. Есть три направления:
1. Христианство, иудаизм и ислам. Изучение вопроса с точки зрения аврааместических религий.
2. Мифология самых разных времен и народов. Это сфера фольклора. Начиная от фольклора неписьменных народов и древних цивилизации Востока, заканчивая пережитками и представлениями сельского несекуляризированного населения. При чем в каждой области земного шара материал будет разным. Для нашего ареала актуально изучать демонологию и мифологию Европы (античную и средневековую) и Древнего Ближнего Востока (т к многое впиталось в христианство и пришло к нам, а так же многие элементы восприняли оккультисты нового времени и так же привнесли это к нам).
3. Оккультизм. Тут будет сложнее. Т к оккультных направлений достаточно много и как-то определенно все это собрать воедино не получится. По этому удобнее разделить на подгруппы. К примеру: средневековый европейский оккультизм, оккультизм новых религиозных движений, сатанизм и т. д.

Помимо изучения непременно демонологии я бы все же не стал на вашем месте останавливаться только на демонах, т к актуальнее изучать фольклор целиком, а это значит, что вам придется стать Джоан Роулинг и искать сказочных тварей и где они обитают. То есть, вам придется изучать бестиарии. Есть неплохой сайт https://www.bestiary.us/ как по мне создатели сайта молодцы - материала, думаю, вам будет предостаточно. За одно к тексту очень много народного творчества (рисунков). Есть еще один неплохой сайт http://godsbay.ru/ с подобной направленностью.

Литература:
"Догматическое Богословие" арх. Макария (О мире духовном -> О духах Злых). Прежде чем уходить в крипоту, все же лучше ознакомиться с первоисточниками, т к лопатить Библию даже если вы не лентяй, дело долговременное, то о необходимой вам информации можно ознакомиться по ссылке за час думаю, даже меньше.
Иоанн Дамаскин  "Точное изложение православной веры" есть глава "О демонах". 7 век. Наряду с Блаженным Августином является очень авторитетным богословом для христианства. В общем говоря христинские богословы первого тысячелетия не имеют каких-то добротных трудов по демонологии т к в этом не было практического смысла. Дамаскин же либо один единственный, либо один из немногих кто уделил этой теме относительно большое внимание.
"Молот Ведьм" Генриха Крамера и Якоба Шпренгера. Это классика, по этому без комментариев.
"Сад демонов" Махова очень добротный труд, это то что вам нужно.
Шарбонно-Лассэ "Энциклопедия мистических существ и животных в христианстве"Добротная работа, при чем стоит заметить, что изучив этот материал вы можете после уже обратиться к изучению оккультной (европейской) литературы.
Холл "Энциклопедическое изложение ... [много чего]" по оглавлению смотрите что вас конкретно интересует и читаете. Много интересного, равнодушными не останетесь.
Юлия Игина "Антропология зла" 2009 г. О ведьмовстве в средневековой Англии (и не только Англии) в том числе затрагивается тематика демонологии, т к эта тема один из элементов ведьмовства.
Не совсем в тему, но очень близко. "Исцеление духовных болезней" Жана Клода Ларше. Не о демонах, а скорее о том, как им противостоять, а так же лечение психических заболеваний в первые века христианства.
Так же посредственная работа к теме. Олег Ирвик "История загробного мира" Книга написана в юмористическом характере, но стоит отдать должное, материал авторы (вообще-то их два; это у них такой псевдоним) не выдумывали, все по источникам. Описывают представление о загробном мире в каждой культуре в том числе о демонах живущих там.

Статья по иудаизму http://booknik.ru/today/all/kratkoe-vvedenie-v-evreyiskuyu-demonologiyu/

По исламу http://ru-news.ru/sverestestvennye-sushhestva-i-magiya-sihr-v-islame/

По дальнему востоку https://www.labirint.ru/books/394888/

Как я писал выше, что бы изучать демонологию в самых разных культурах следует обращаться к их мифологии. По этому далее:
По славянам "Статьи для мифологических энциклопедий" - Топорков достаточно известный историк. Смотрите другие его труды.
По Древнему Востоку "Легенды и мифы Древнего Востока" Овчинниковой. Книга читается легко, стиль очень лайтовый, я бы даже сказал больше для развлечения.
По Египту Рак "Мифы древнего Египта" по ссылке и другие его работы.
По Междуречью Якобсен "Сокровища тьмы"
По Индии словарь "Индуизм. Джайнизм. Сикхизм" Это словарь, по индуизму и другим религиям Индии материал можете найти в интернете.
По Тибету "Тибетская книга мертвых" - собственно это литературный памятник, но читая его можно понять о природе и верованиях тибетцев в потусторонних существ.

Дополнительная литература в целом о религиях, но где так же можно найти материалы по демонологии:
"История веры и религиозных идей" Мирча Элиаде.
"История античных религий" Зелинский
В целом о магии и религии "Золотая ветвь" Фрезера.
В общем говоря, если вас интересуют демоны конкретной культуры\страны гуглите их мифологию\религию, а там найдете о демонах и существах потустороннего мира.

По экзорцизму:

Есть неплохая книга Аллендера Дэна, Крабба Лэрри Надежда страждущим. Ответы на четыре вопроса, которые задают люди, испытывающие душевный дискомфорт - там есть об экзорцизме, борьбе с бесами и немножечко по демонологии. По оформлению и названию книга может показаться слишком желтушной и пафосной, но это заблуждение. На самом деле книга неплохая.

Книгу католического пастора-экзорциста я запамятовал и увы так и не смог вспомнить, но по крайней мере могу дать наводку где можно ее найти, об этом дальше. В Католичестве экзорцизм более развит нежели в православии.  Есть книга The Making of a Modern Exorcist (не знаю переводилась ли она на русский) Мэтта Баглио. Книгу не читал, лишь отрывки, но говорят что неплохая и по сути дела основана на опыте католических экзорцистов. Только вот меня не покидало ощущение, что писали ее для желтухи, впрочем я ее толком и не читал, но о ней много шумихи и говорят, что хорошая. По этой книге сняли фильм "Ритуал" с Хопкинсом - что-то мне подсказывает, что книга и фильм очень сильно отличаются. Фильм красивый, но ... это просто смешно! Толи все испортил хреновый перевод на русский, то ли сценарий писали кретины. Пришлось вытирать ваниль с монитора салфетками сворованными из Ватикана. Настоящий священник (тем более практикующий экзорцист) такой пурги нести как в фильме не будет, ну или я, видимо, утратил связь с реальностью.
Есть католический сайт на русском с рубрикой борьбы с нечистой силой. По большому счету вопросы и ответы ни о чем (ну это лично мое видение), но дальше порывшись может быть можете найти что-то интересное для себя. Так же можете задать вопрос или даже сами найти на сайте литературу по экзорцизму.

Есть известный в православной среде автор (американец) Серафим Роуз. Его книга является комментариями к труду доктора Моуди об опыте людей, переживших клиническую смерть. Будет интересно многим, думаю.

В добавку к ответу. Нашел еще ряд замечательных работ французского писателя Коллена де Планси: Ужасы чародейства, Тайны ада, Инфернальный словарь (на торрентах так и не нашел к сожалению и вообще не факт, что на русский язык переведена, хотя написана книга 200 лет назад; нашел ее в библиотеке в оригинале на французском) и Критический словарь реликвий и чудотворных образов (к теме данного вопроса отношения не имеет, но все же работа так же интересная). Между прочим личность данного человека сама по себе интересная. Подпал под влияние Вольтера и матерого атеизма\материализма, но через тернии нашел свой путь к вере и стал ревнивым непоколебимым верующим католиком.

Ответ закончу как говорил Оззи Озборн американским сатанистам: "Чуваки, меня интересуют только три демона: Водка, Джин и Виски!"