Когда-то здесь в округе было сразу два храма – Покровский в селе Призначном и Дмитриевский в селе Красном. Но оба они исчезли в лихолетиях и битвах XX века.

Название селу, по преданию, дали многочисленные холодные родники-ключи, которые бьют из-под земли и сейчас. Довольно долго здесь не было своей церкви: до 1814 года Холодный входил в приход Дмитриевской церкви села Толстое, а затем ещё двадцать лет был приписан к Георгиевской церкви в слободе Коломыцево. Но за три года, с 1837 по 1840 гг. жители Холодного возвели свою церковь – во имя апостола и евангелиста Иоанна Богослова.

В слободе Новоалександровка, или как её ещё называли – Новосёловка, в 1829 году была построена Покровская церковь: каменная, с колокольней, да ещё и с двумя приделами – во имя Богоявления Господня и во имя пророка Илии.

Храм во имя Святителя Тихона Задонского построен в 1862 году, через несколько месяцев после прославления этого угодника Божия в лике святых.

Точная дата строительства храма неизвестна. Предположительно, в 1859 году проведены ремонтно-реконструкционные работы, в то же время храм был освящен. Его прихожанами стали не только жители Ивановки, но и хуторов Степки, Папки, Личманов, Шевцов и Лозовый.

13 декабря 2008 года в селе Айдар открылся храм апостола Андрея Первозванного. Чин освящения и Божественную литургию в новопостроенном деревянном храме совершил архиепископ (ныне митрополит) Белгородский и Старооскольский Иоанн в сослужении духовенства Ровеньского благочиния.