В сентябре 1962 года Виктор Яковлевич возвращается в родной институт, который станет его вторым домом до конца дней. В Калужском государственном педагогическом институте (позднее университете) им. К.Э. Циолковского, В.Я. Филимонов последовательно занимал должности ассистента, старшего преподавателя, заведующего кафедрой отечественной истории и декана исторического факультета.

В 1966-1969 гг. обучался в целевой аспирантуре Ленинградского педагогического института им. А.И. Герцена. В 1971 году защитил диссертацию на соискание учёной степени кандидата исторических наук на тему «Роль города в восстановлении сельского хозяйства, 1921-1925 гг. (по материалам Ленинградской губернии)».

Спустя год становится заведующим кафедрой истории. В 1977 году решением высшей аттестационной комиссии ему было присвоено ученое звание доцента.

В 1989 году Филимонов защитил диссертацию на соискание учёной степени доктора исторических наук на тему «Взаимоотношения города и деревни в 1921-1925 гг. (по материалам Центра и Северо-Запада РСФСР)».

В 1991 году решением Государственного комитета СССР по народному образованию Виктору Яковлевичу было присвоено ученое звание профессора. В эти же годы был избран действительным членом Академии истории и политологии и Академии социальных наук.

В.Я. Филимонов вел учебные занятия для студентов на историческом факультете КГУ им. Циолковского более 50-ти лет, постоянно совершенствуя теоретическое обоснование, структуру, методику преподавания.

За десятилетия научно-преподавательской деятельности Виктор Яковлевич подготовил тысячи учителей истории. Немало выпускников исторического факультета достигли успеха на общественно-политическом поприще и занимают высокие должности в органах власти.

Многие годы В.Я. Филимонов был членом диссертационного Совета по историческим наукам при Брянском государственном университете им. академика И.Г. Петровского. Под его руководством успешно защищены двенадцать кандидатских диссертаций, сформировалась научная школа, изучающая историю российского крестьянства в XX веке (на базе КГУ им. К.Э. Циолковского).

На историческом факультете под его руководством действовал студенческий хор. Ни одно праздничное мероприятие в кругу семьи или на факультете не обходилось без музицирования Филимонова. Среди его увлечений особо стоит отметить музыку, игру на музыкальных инструментах – на баяне и гитаре.