После свадьбы и недолгого пребывания в Богородицком Семен Яковлевич и Варвара Михайловна Унковские поселились в сельце Колышеве Перемышльского уезда Калужской губернии.

Этим сельцом по легендам, хранящимся в роду Унковских, они начали владеть с начала XVIII века. Первое упоминание о Колышеве относится к середине XVIII века. После смерти П.И. Унковского его часть Колышева досталось дочери Авдотье Петровне Унковской (21.02.1764-20.03.1843), которая, в свою очередь, по причине отсутствия прямых наследников 7 марта 1817 года отдала Колышево своему племяннику Семену Яковлевичу Унковскому.

В своих "Записках" Семен Яковлевич подробно описал состояние имения того времени: "Главная моя забота была, поселившись в деревне, о том, чтобы свое хозяйственное дело разумно а достигнуть того иначе нельзя, не говоря уже о дальних деревнях, где не было никаких хозяйственных заведений, но в самом Колышеве в полях была такая чрезполосица с Шепелевым, что моя одна десятина находилась между трех чужих и как только зазеленелись озимые посевы, то тощие крестьянские лошади Шепелевской барщины пускались по ржаным полям той земли, которая была смешана с ними, и я вынужден был сгонять, запирать их к себе на двор, жаловаться помещице соседке, от которой никакого удовлетворения не было... Здесь в Колышеве находилось до 400 четвертей ржи. Кроме продовольствия дворни нашей и дворни тетушкиной и всех считалось налицо 86 душ старых и малых, не приносящих никакого дохода, кроме расхода на них, на поддержку их жилища и на отопление...

Известно, что в семье Унковских в начале 1830-х годов воспитывались дети калужского губернатора А.П. Оболенского, Один из них, Д.А. Оболенский, в последующие годы так вспоминал о проведенном времени в Колышеве: "Господский дом недалеко от перевоза на довольно крутом берегу чрезвычайно напоминает дом, описанный Гоголем в старосветских помещиках, то же расположение с прибавкою, впрочем, мезонина, те же картины, те же скрипучие двери, так же точно протоптаны тропинки к амбару и на кухню. Перед домом к реке полисадник, на который летом слетается бесчисленное множество мух... Полисадник украшен цветниками разных форм, вышедших ныне из моды. Два тополя по краям балкона, памятны тем, что на них были вырезаны начальные буквы наших имен. Другая сторона дома обращена была на двор, на котором кроме кухни, амбаров и конюшни, находился особый флигель, в котором жила тетушка Унковская (70 лет) За амбарами начиналась прекрасная роща, а близ нея фруктовый сад".

В 1876 году имение перешло к сыну С.Я. Унковского - адмиралу Ивану Семеновичу, после смерти которого досталось его сыну Семену Ивановичу. Это был человек среднего роста, русый, со звонким голосом. Самой большой его страстью после моря стали охота, собаки и лошади. В Колышеве Унковский разводил коней: были образцовые конюшни, двор, левады - круги для обкатки лошадей, свои жокеи. Гордостью Семена Ивановича были английские скаковые лошади.

В предреволюционные годы усадьба состояла из ряда деревянных сооружений. Главный усадебный дом был одноэтажным, с мезонином и с двух фасадов украшался колоннами. Из мезонина был выход на балкон с видом на Угру и противоположный берег. По бокам дома были устроены две террасы, застекленные разноцветными гранеными стеклами. К дому также была пристроена кирпичная кухня под одну крышу с домом. А в сохранившемся "тетушкином" флигеле Унковские содержали школу для сельских детей

После Октябрьской революции усадьба была национализирована, и дом переоборудовали под клуб. В 1918 году подрядчик Агафонов купил барский дом, разобрал его и хотел перевести в Москву, но на станции Воротынск дом был разворован. В оставшемся от усадьбы флигеле существовала колышевская школа, которая сгорела во время Великой Отечественной войны. Сами Унковские вынуждены были поселиться в Калуге, где Семену Ивановичу пришлось недолгое время служить извозчиком. В 1919 году он умер от тифа.

К настоящему времени от усадьбы Унковских сохранились лишь остатки парка.