Происходит из дворянского рода Брусиловых. Родился в Тифлисе в семье русского генерала Алексея Николаевича Брусилова.
По окончанию Пажеского корпуса, был выпущен в в 15-й драгунский Тверской полк. Через год стал адъютантом полка.
Участник Русско-турецкой войны 1877—1878 годов на Кавказе. Отличился при взятии турецких крепостей Ардаган и Карс, за что получил орден Святого Станислава 3-й и 2-й степеней и орден Святой Анны 3-й степени. В 1879—1881 годах был командиром эскадрона, начальником полковой учебной команды.
В 1881 году прибыл для прохождения службы в Санкт-Петербург. В 1883 году окончил курс наук отдела эскадронных и сотенных командиров по разряду «отличных». С 1883 года служил в Офицерской кавалерийской школе: адъютант; с 1890 года — помощник начальника отдела верховой езды и выездки; с 1891 года — начальник отдела эскадронных и сотенных командиров; с 1893 года — начальник драгунского отдела. С 10 ноября 1898 года — помощник начальника, с 10 февраля 1902 года — начальник школы. Брусилов стал известен не только в России, но и за границей как выдающийся знаток кавалерийских езды и спорта.
Не имея до этого опыта командования ни полком, ни бригадой, только благодаря протекции имевшего до войны исключительное влияние на назначение старших кавалерийских начальников великого князя Николая Николаевича был назначен 19 апреля 1906 года начальником 2-й гвардейской кавалерийской дивизии. С 5 января 1909 года — командир 14-го армейского корпуса. С 15 мая 1912 года — помощник командующего войсками Варшавского военного округа. С 15 августа 1913 года — командир 12-го армейского корпуса.
Серьёзно занимался оккультизмом, подчёркивая постоянно при этом «свои чисто русские, православные убеждения и верования»
В день объявления Германией войны России, 19 июля (1 августа) 1914 года, А. А. Брусилов был назначен командующим 8-й армией. В июне 1916 года провёл успешное наступление Юго-Западного фронта, применив при этом неизвестную ранее форму прорыва позиционного фронта. Эта операция вошла в историю под названием Брусиловский прорыв (также встречается под первоначальным названием Луцкий прорыв). За успешное проведение этого наступления А. А. Брусилов большинством голосов Георгиевской Думы при Ставке Верховного Главнокомандующего был представлен к награждению орденом Святого Георгия 2-й степени. Однако Император Николай II не утвердил представления, и А. А. Брусилов, наряду с генералом А. И. Деникиным, был награждён Георгиевским оружием с бриллиантами.
Во время Февральской революции поддержал смещение Николая II и приход к власти Временного правительства. Был горячим сторонником создания так называемых «ударных» и «революционных» частей.
22 мая 1917 года назначен Временным правительством Верховным главнокомандующим вместо генерала Алексеева. После провала июньского наступления Брусилова сняли с поста Верховного главнокомандующего и заменили генералом Корниловым. После отставки проживал в Москве. Во время октябрьских боёв между красногвардейцами и юнкерами был случайно ранен осколком снаряда, попавшего в его дом. По собственным воспоминаниям, только это помешало ему тогда отправиться на Дон.
С 1920 года в Красной армии. С 1921 года Алексей Алексеевич — председатель комиссии по организации допризывной кавалерийской подготовки. В 1923—1924 годах — инспектор кавалерии РККА. С 1924 года состоял при Реввоенсовете для особо важных поручений.