Молодой человек родился и вырос в городе Зима Иркутской области. Там он окончил школу и поступил в Дальневосточное высшее военное командное училище имени Рокоссовского, которое окончил в 2013 году. После получения образования, Виктор пошел служить по контракту в Кабардино-Балкарии, а затем в Карачаево-Черкессии.
Как сообщает портал DonDay.ru, перед тем, как отправиться на выполнение спецоперации, парень служил в одной из воинских частей города Новочеркасска. Простятся с Виктором Брыжовым 7 мая в родном городе Зима.