Отец - выпускник Петербургского училища правоведения. Сенатор (1868), тайный советник.
Мать Мария Фёдоровна Козен (1838—1870) — выпускница Екатерининского женского института в Петербурге.
Сестра Евгения Александровна Масальская-Сурина (1903—1940). Автор воспоминаний о А. А. Шахматове («Воспоминания о моём брате»).
Жена Наталья Александровна (урождённая Градовская) — дочь известного петербургского профессора истории А. Д. Градовского. До войны жила в Ленинграде. Предположительно умерла в блокаду.
Сын Александр Алексеевич (1898—1910) из-за туберкулёзного менингита был прикован к постели. В дневнике за 16 июля 1901 года Шахматов записал: «Саша наш всё плох, хотя вырос и цветёт, но сидеть не может и сознания настоящего нет. Страшно подумать.» (РГАЛИ, ф. 318, оп.1. ед. хр. 91).
Дочь Ольга Алексеевна Шахматова-Копылова (1897—1942). Умерла в блокадном Ленинграде. Место захоронения: неизвестно.
Дочь София Алексеевна Коплан-Шахматова (1901 — январь, 1942) — сотрудница Архива АН СССР; умерла от голода в блокадном Ленинграде вместе с 16-летним сыном Алексеем Борисовичем (1925 — январь, 1942). Место захоронения: Серафимовское кладбище.
Дочь Екатерина (1903—1941, декабрь) — умерла в блокадном Ленинграде от голода. Место захоронения: неизвестно.
В Государственном архиве Саратовской области (ГАСО) среди прочих документов хранятся данные о членах семейства Шахматовых, начиная с Алексея Тихоновича (умер до 1749), майора саратовских конных солдат (ед. хранения — 4, 1711 год).