Джон Першинг родился на ферме в штате Миссури недалеко от города Леклейд (англ. Laclede), в который переехал в 1861, после того, как его отец купил там склад. Окончил школу в 1878, в 1880—1882 учился в Первой миссурийской нормальной школе (впоследствии Государственный университет Трумэна в Кирксвилле), весной 1882 поступил в Военную академию в Вест-Пойнте, которую окончил в 1886, получив звание младшего лейтенанта американской армии. Служил в 6-м кавалерйиском полку (первоначально расквартированном в штате Нью-Мексико, впоследствии в Калифорнии, Аризоне, Северной Дакоте и Айове), участвовал в операциях против апачей и сиу; в 1890 принял участие в подавлении последних восстаний сиу в Су-сити. В 1895 был повышен в звании до старшего лейтенанта и переведён в 10-й кавалерийский полк (Форт-Ассирнибойн), который состоял из афроамериканских солдат под командованием белых офицеров (впоследствии служба в частях, состоящих преимущественно из чернокожих солдат, принесла ему прозвище «Блэк Джек»). С 1897 служил инструктором тактики в Вест-Пойнте.

В 1898, во время испано-американской войны, участвовал в сражениях на Кубе, с 1899, во время испано-филиппинской войны, служил на Филиппинах, где в 1901 полусил звание капитана, в 1901 участвовал в военных действиях в Китае во время подавления Боксёрского восстания.

Першинг вернулся в США в 1903 и в 1905 указом Теодора Рузвельта был повышен в звании сразу до бригадного генерала (минуя при этом 3 звания и обойдя 835 офицеров более высокого ранга). В 1905 получил должность военного атташе в Токио и во время японской войны находился при японской армии в Манчжурии, выполняя обязанности наблюдателя. В 1908 был военным наблюдателем на Балканах, после чего в 1909 вернулся на Филиппины, где служил до 1912, занимая должность губернатора провинции Моро. С января 1914 командовал 8-й бригадой в Форт Блиссе (Техас), в 1916—1917 возглавлял её во время карательной экспедиции американских сил в Мексике (во время Мексиканской революции). С 1916 — генерал-майор.

Когда США вступили в Первую мировую войну на стороне Антатны, Джон Першинг был 10 мая 1917 назначен командующим экспедиционными силами во Франции, при этом повышен в звании до полного генерала (первым после Шеридана в 1888). В августе 1917 прибыл во Францию. Долгое время численность американской экспедиционной армии была невелика, существенную роль она впервые сыграла только во время второго сражения на Марне летом 1918. В сентябре 1918 Першинг руководил Сен-Мийельской операцией. При разделении американских войск во Франции на две армии назначен 10 октября 1918 главнокомандующим всеми американскими войсками в Европе.

После войны Джон Першинг приобрёл огромную популярность в США. В 1919 Конгресс США уполномочил президента присвоить ему высшее звание в американской армии — звание Генерала армий США (это звание было создано специально для Першинга и впоследствии было присвоено только Джорджу Вашингтону — посмертно, в 1976). В 1920 возникла идея выдвинуть Першинга в президенты США, он он отказался. 1 июля 1921 Першинг стал главой Генерального штаба США и занимал эту должность три года, вплоть до своего выхода в отставку 13 сентября 1924. В 1930-е выпустил мемуары под названием «Мой опыт мировой войны» (англ. My Experiences in World War), за которую в 1932 получил Пулитцеровскую премию. С мая 1937 и до конца жизни занимал пост президента Американского военного движения. Во время Второй мировой войны был сторонником активной поддержки Великобритании.

Скончался в военном госпитале Уолтера Рида в Вашингтоне, похоронен на Арлингтонском национальном кладбище.

В честь Першинга названы танк и баллистическая ракета.