Супруга — Ожегова (Полетаева) Серафима Алексеевна (1903—1979), филолог, преподаватель русского языка.
Сын — Сергей (1925—2017) — исследователь искусства Индокитая, доктор архитектуры, профессор МАрхИ, заслуженный деятель искусств Узбекской ССР (1962) и Якутской АССР (1967), лауреат Государственной премии УзССР имени Хамзы Хаким Заде Ниязи (1964), почётный член РААСН.
Племянница — Наталья Ожегова, была удочерена Сергеем Ожеговым после гибели семьи брата в блокадном Ленинграде.