Всенародную известность и любовь принес Ермолову 1812 год. Перед войной судьба, наконец, стала к нему благосклонна. Ермолов встретил войну генерал-майором, командиром гвардейской пехотной дивизии. Приближались решительные сражения, и Барклай-де-Толли уговорил императора заменить начальника штаба армии генерала Паулуччи, который плохо говорил по-русски, на Ермолова. Вызванный на военный совет и видя на нем засилье иностранцев, Ермолов на слова Александра I о предстоящем назначении прореагировал своеобразно. «Ваше Величество, - заявил он, - произведите меня лучше в немцы!». Император сделал вид, что не расслышал, а недругов среди генералов у Ермолова значительно прибавилось.

В должности начальника штаба армии Ермолов оказался в сложной ситуации. Он не поддерживает мнение Барклая о необходимости дальнейшего отступления, не скрывает свои взгляды, открыто пишет царю, что целесообразно сменить командующего. Но в силу служебного положения вынужден примирять Барклая с Багратионом, наступательный порыв которого поддерживает всей душой. Разногласия с командующим не мешают Ермолову наладить четкую работу штаба, упорядочить снабжение войск боеприпасами, продовольствием и фуражом. Попытки обмана и недобросовестного выполнения обязанностей Ермолов пресекает беспощадно.

Русские армии и после соединения под Смоленском продолжали отступать, ведя тяжелые бои. В армии ширилось недовольство, солдаты и офицеры ждали генерального сражения. Приезд в армию Кутузова вселил надежду, что отступление заканчивается. В Бородинском сражении Ермолов, формально оставаясь начальником штаба 1-й армии, выполнял обязанности начальника штаба при Кутузове. Когда на левом крыле во 2-й армии создалось угрожающее положение, Кутузов отправил туда Ермолова. Но, не достигнув позиций 2-й армии, ему пришлось вступить в бой, о котором участник сражения Муравьев-Карский написал впоследствии: «Сим подвигом Ермолов спас всю армию».

А произошло следующее: французы захватили батарею Раевского, прикрывавшую Курганную высоту, и продолжали атаковать. Был взят главный опорный пункт русских позиций, что могло привести к губительным последствиям. Ермолов, остановив отступающие егерские полки повел их в штыковую атаку. В жестокой рукопашной схватке французы были выбиты с батареи, а генерал Бонами взят в плен. В письме Александру I Кутузов писал об этом эпизоде битвы: «Ермолов со свойственной ему храбростью и решительностью, подавая собою пример, ударил в штыки. Неприятель защищался жестоко, но ничто не устояло против русского штыка».

С началом изгнания французов из России забот у Ермолова прибавилось. Оставаясь формально начальником штаба, он командует авангардом русской армии, участвует почти во всех крупных боях: при Малоярославце, когда Наполеон вынужден был отступить на разоренную Смоленскую дорогу, под Вязьмой, у Красного, где Ермолов заставил капитулировать шеститысячный отряд французов. За последнее сражение он был произведен в генерал-лейтенанты.

Изгнав неприятеля из России, русская армия вступила в Европу. В заграничном походе Ермолов командует артиллерией русской армии, затем гвардейской дивизией и гвардейским корпусом. В бою при Бауцене спасает союзную армию от разгрома, прикрыв гвардейцами ее беспорядочное отступление. И при Кульме его гвардейцы, добившись перелома в сражении, решили исход битвы. В кровопролитной «битве народов» под Лейпцигом Ермолов, командуя русской и прусской гвардиями, решительной атакой вклинился в центр позиций Наполеона, лишив его возможности маневра. В сражении за Париж Ермолов командовал объединенной русской, прусской и баденской гвардией. После капитуляции французов ему, как одному из самых образованных русских генералов, Александр I поручил написать манифест о взятии Парижа.

Возвышенным гимном подвигу россиян вышел манифест из-под пера генерала: «...1812 год, тяжкий ранами, принятыми в грудь Отечества нашего, вознес Россию на верх славы, явил перед лицом вселенныя ее величие...».

Заграничный поход закончился для Ермолова в ноябре 1815 года. Ему не без основания прочили пост военного министра. Но решение царя было неожиданным - назначить Ермолова командиром отдельного Грузинского корпуса, управляющим по гражданской части в обширном Кавказско-Астраханском регионе. Снова, как в начале офицерской службы, судьба привела его на Кавказ. Долгие десять лет управлял он суровым и прекрасным краем, расширяя границы России, укрепляя ее южные рубежи.

Переломным в судьбе Ермолова стал 1825 год. Восстание декабристов он открыто не поддержал, хотя знал о его подготовке и покровительствовал многим участникам тайного общества, а впоследствии, и сосланным на Кавказ декабристам.

Открыто проводить следствие о Ермолове царь считал опасным, слишком крупной политической и военной фигурой был наместник на Кавказе, а для отставки нужна была причина. Весной 1827 года, вменив в вину мелкие неудачи в войне с Персией, вольнодумство и либерализм в войсках корпуса, Николай I освободил Ермолова от всех постов.

До 1831 года опальный генерал жил в Москве и в своем орловском имении Лукьянчиково. Независимый и честный, Ермолов за долгую службу не накопил состояния. Он неоднократно отказывался от крупных денежных подарков, не принял, в свое время, от царя и графский титул. Жизнь вел размеренную, но не затворническую. Его посещали Денис Давыдов, Александр Пушкин. Многие передовые люди России считали за честь приехать погостить в хлебосольный дом Ермолова. В Лукьянчикове начал писать мемуары. В них он, не без гордости, отметит: «Вся жизнь моя прошла в честном служении Отечеству».

После снятия опалы Ермолов недолгое время заседал в Государственном совете, но к активной политической жизни уже не вернулся. В годы Крымской войны снова вспомнили об отставном генерале и 78-летнего Ермолова избрали начальником ополчения в семи губерниях. Он согласился возглавить Московское ополчение. Но годы брали свое, Ермолов через некоторое время вынужден был оставить почетную должность, мотивируя это преклонным возрастом и желанием окончательно уйти на покой.

Скончался он 11 апреля 1861 года в Москве и был похоронен в Орле у Троицкой церкви. В день похорон жители Орла устроили грандиозную панихиду в память о народном герое. И в наши дни помнят славного русского воина, у его могилы всегда живые цветы, а в день его 225-летия в Орле состоялась торжественная церемония закладки камня в основание будущего памятника А.П. Ермолову.