В четырех верстах от Колышева находилось село Богородицкое, слывущее в народе под названием Козлово, также издавна принадлежавшее роду Унковских.

Это было небольшое село с двумя церквями, красиво выделяющихся среди сельских строений с прилегающими к ним зеленеющими рассаженными деревьями.

Одна из них старая, небольших размеров, деревянная церковь, во имя Собора Пресвятой Богородицы, построенная первоначально неизвестно кем в 1702 году и возобновлена в 1860 году владельцем этого села статским советником Семёном Яковлевичем Унковским.

Новая каменная церковь была заложена 3 сентября 1885 года на средства адмирала Ивана Семеновича Унковского. После его смерти в 1886 году, вдова покойного адмирала Анна Николаевна Унковская, продолжила и закончила строительство храма.

Выстроенный в псевдорусском стиле храм в основании своем представляет четырехконечный крест, удлиненный в западную сторону за счет объемов трапезной и колокольни; сама церковь, имея форму неправильного четырехугольника в виде немного продолговатой пирамиды, украшена пятью небольшими каменными главками, каждая из которых завершена восьмиконечным позолоченным крестом.

По всей видимости, постройка нового храма была вызвана неудовлетворительным состоянием существовавшей деревянной церкви, уже ремонтировавшейся в 1860-е годы, но из-за отсутствия свободной церковной земли (на 1914 год под церковью с погостом числилось 4 десятины земли) каменную церковь пришлось строить с левой стороны прежнего деревянного храма, от которого по тесноте места даже отломано для прохода крыльцо с фронтоном над северною дверью. Обе церкви находились в одной ограде, с двух сторон которой были посажены деревья, а с двух других — располагались строения церковного причта.

Небольшая лестница приводит в склеп, с устроенным в нем киотом для икон, освященным одним окном с северной стороны. Здесь же находится плита из белого мрамора с высеченными золотыми словами: «Это могила начального строителя сего храма, адмирала Ивана Семеновича Унковского, который под сводами нового храма и погребен»

Освящение нового, каменного, храма состоялось 26 августа 1889 года, для чего в Козлово накануне прибыл архиепископ Калужский и Боровский преосвященный Анастасий.

В начале 1930-х годов, по словам местных жителей, храм был закрыт, а усыпальница И.С. Унковского — осквернена и разрушена. И только с середины 1990-х годов началось постепенное восстановление церкви.