Родился в 1820 году в Ланкастере, Огайо. В 1840 году окончил академию в Вест-Пойнте. Артиллерист. Участвовал в Мексиканской войне.

В 1853-59 годах в отставке, был управляющим банком и адвокатом. С 1859 года – начальник военного училища.

Во время Гражданской войны командовал полком, бригадой и дивизией в армии северян, с июля 1863 года бригадный генерал.

Участвовал в сражениях при Булл-Ране, Шайло, Виксбергe, Чаттанугe и других.

С марта 1864 года командовал армией, которая совершила успешный «марш к морю» от Чаттануги через штат Джорджия (в сентябре его армия заняла Атланту) до побережья Атлантического океана (в декабре заняла Саванну) и нанесла поражение армии южан под командованием генерала Джозефа Джонстона.

Затем в начале 1865 года армия Шермана повернула на север и двинулась в тыл противнику на соединение с армией генерала Гранта. Пройдя за год свыше 1300 км, армия Шермана соединилась около Ричмонда с армией Гранта, что привело к окружению главных сил южан под командованием генерала Ли и их капитуляции в апреле 1865 года.

После войны между Шерманом и Джонстоном установились крепкие дружеские отношения. С ними связан один красноречивый эпизод. Когда в феврале 1891 года Уильям Шерман скончался, Джонстон, которому уже было 84 года, счел невозможным пропустить похороны друга. Весь путь до кладбища Джонстон проделал с непокрытой головой, отвечая на все замечания, что «если бы я был на месте Шермана, а Шерман на моем, то он снял бы шляпу»1. Последняя дань уважения другу оказалась роковой для Джозефа - он простудился на похоронах и через несколько дней скончался.