Здание средней школы №2 (ныне гимназия) было построено в 1936 году. Осенью этого года распахнулись двери для учащихся, а в 1938 году был первый выпуск десятых классов.
До начала Великой Отечественной войны школа успела сделать еще несколько выпусков, последний был выпуск 1941 года.
Директором школы в этот период был Власов Дмитрий Дмитриевич.
После освобождения города Новозыбкова до 1947 года в школе размещался лагерь военнопленных.
Из воспоминаний бывшего завуча школы Заслуженного учителя РСФСР Марченко Н.В.: "После войны школу открыли в августе 1947 года. Нужно было принять от начальника лагеря старшего лейтенанта Алексеева здание школы и дрова".

Ремонт школы продолжался и в учебное время 1948 года.
В этом же году директором школы был назначен Вьючко Иван Степанович, который проработал на этом посту до 1953 года.
С 1953 по 1979 год директором был Разумейко Александр Петрович.
Много поколений учеников было выпущено из стен средней школы №2. Только самые теплые слова можно сказать и о тех преподавателях, которым приходилось не только обучать, но и восстанавливать разрушенное войной.
С 1979 года должность директора занял Вахаев Леонид Владимирович. На протяжении многих лет они трудились в дружном коллективе. А в 1994 году наша школа бала переорганизована в новое учебное заведение - гимназию, которую возглавила Лях Г.М.