Филимонов Виктор Яковлевич родился 1 октября 1937 года в деревне Зимницы Кировского района Смоленской (ныне Калужской) области.

Отец, Яков Андреевич работал мостовым сторожем. Мать – Мария Егоровна была домохозяйкой.

Детские годы Виктора прошли в трудные военные и послевоенные годы. Первые семь лет он обучался в Бережковской семилетней школе Кировского района Калужской области. По окончании школы продолжил обучение в Кировском педагогическом училище. В 1955 поступил на исторический факультет КГПИ им. К.Э. Циолковского. Окончил институт в 1960 году и получил специальность «учитель истории, русского языка и литературы».

В этом же году состоялась свадьба Виктора Яковлевича и Лидии Владимировны. В браке родился сын Михаил. Трудовую деятельность молодой учитель начал в Бетлицкой школе-интернате в качестве учителя-воспитателя.