Joseph Eggleston Johnston wurde am 3. Februar 1807 in der Nähe von Farmville, VA, geboren. Als Sohn des Richters Peter Johnston und seiner Frau Mary wurde er nach Major Joseph Eggleston benannt, dem kommandierenden Offizier seines Vaters während der amerikanischen Revolution. Johnston war auch mit Gouverneur Patrick Henry durch die Familie seiner Mutter verwandt. 1811 zog er mit seiner Familie nach Abingdon nahe der Grenze zu Tennessee im Südwesten von Virginia.
Johnston wurde vor Ort ausgebildet und 1825 nach West Point aufgenommen, nachdem er vom Kriegsminister John C. Calhoun nominiert worden war. Als Mitglied der gleichen Klasse wie Robert E. Lee war er ein guter Schüler und absolvierte 1829 den 13. von 46. Johnston erhielt als Leutnant den Auftrag zur 4. US-Artillerie. Im März 1837 verließ er die Armee, um ein Studium des Bauingenieurwesens aufzunehmen.
Später in diesem Jahr nahm Johnston als ziviler topografischer Ingenieur an einer Vermessungsexpedition nach Florida teil. Unter der Führung von Leutnant William Pope McArthur traf die Gruppe während des Zweiten Seminolenkrieges ein. Am 18. Januar 1838 wurden sie von den Seminolen an Land in Jupiter, FL, angegriffen. Während der Kämpfe wurde Johnston auf der Kopfhaut gestreift und McArthur an den Beinen verletzt. Später behauptete er, in seiner Kleidung seien "nicht weniger als 30 Einschusslöcher". Nach dem Vorfall beschloss Johnston, sich wieder der US-Armee anzuschließen, und reiste im April nach Washington, DC. Er wurde am 7. Juli zum Oberleutnant der topografischen Ingenieure ernannt und sofort zum Kapitän für seine Aktionen auf dem Jupiter ernannt.
Im Jahr 1841 zog Johnston nach Süden, um an der Vermessung der texanisch-mexikanischen Grenze teilzunehmen. Vier Jahre später heiratete er Lydia Mulligan Sims McLane, die Tochter von Louis McLane, Präsident der Baltimore and Ohio Railroad und prominenter ehemaliger Politiker. Obwohl das Ehepaar bis zu ihrem Tod im Jahr 1887 verheiratet war, hatte es nie Kinder. Ein Jahr nach Johnstons Hochzeit wurde er mit dem Ausbruch des mexikanisch-amerikanischen Krieges in Aktion gesetzt. Johnston diente 1847 mit der Armee von Generalmajor Winfield Scott und nahm an der Kampagne gegen Mexiko-Stadt teil. Zunächst Teil von Scotts Stab, diente er später als zweiter Befehlshaber eines Regiments der leichten Infanterie. In dieser Rolle wurde er für seine Leistungen während der Schlachten von Contreras und Churubusco gelobt. Während des Wahlkampfs wurde Johnston zweimal wegen seines Mutes gebrütet und erreichte den Rang eines Oberstleutnants. Außerdem wurde er in der Schlacht von Cerro Gordo durch Traubenschüsse schwer verwundet und in Chapultepec erneut getroffen.
Nach dem Konflikt kehrte Johnston nach Texas zurück und fungierte von 1848 bis 1853 als oberster topografischer Ingenieur des texanischen Ministeriums. Während dieser Zeit begann er, dem Kriegsminister Jefferson Davis eine Reihe von Briefen zu schreiben, in denen er die Überstellung an ein aktives Regiment und die Auseinandersetzung forderte über sein brevet reiht sich aus dem krieg. Diese Anträge wurden größtenteils abgelehnt, obwohl Davis Johnston 1855 zum Oberstleutnant der neu gegründeten 1. US-Kavallerie in Fort Leavenworth, KS, ernannt hatte. Er diente unter Oberst Edwin V. Sumner, beteiligte sich an Feldzügen gegen die Sioux und half bei der Unterdrückung der Blutende Kansas-Krise. Johnston wurde 1856 in Jefferson Barracks, MO, bestellt und nahm an Expeditionen zur Überwachung der Grenzen von Kansas teil.
Nach seinem Dienst in Kalifornien wurde Johnston am 28. Juni 1860 zum Brigadegeneral befördert und zum Generalquartiermeister der US-Armee ernannt. Mit Beginn des Bürgerkriegs im April 1861 und der Abspaltung seiner Heimat Virginia trat Johnston aus der US-Armee aus. Johnston war der ranghöchste Offizier, der die US-Armee in die Konföderation verließ. Zunächst wurde er zum Generalmajor der Virginia-Miliz ernannt, bevor er am 14. Mai eine Kommission als Brigadegeneral der Konföderierten Armee annahm. Er wurde zu Harper's Ferry geschickt und übernahm das Kommando über die Truppen das hatte sich unter dem Kommando von Oberst Thomas Jackson versammelt.
Johnston wurde die Armee der Shenandoah genannt und eilte im Juli nach Osten, um Brigadegeneral P.G.T. zu helfen. Beauregards Armee des Potomac während der ersten Schlacht von Bull Run. Als Johnston auf dem Feld ankam, halfen seine Männer, die Kämpfe zu beenden und sicherten sich einen Sieg der Konföderierten. In den Wochen nach der Schlacht half er bei der Gestaltung der berühmten Flagge der Konföderierten, bevor er im August zum General befördert wurde. Obwohl seine Beförderung auf den 4. Juli zurückgestellt wurde, war Johnston verärgert, dass er Samuel Cooper, Albert Sidney Johnston und Lee unterlegen war.
Als hochrangiger Offizier, der die US-Armee verlassen sollte, war Johnston der festen Überzeugung, er hätte der leitende Offizier der Konföderierten Armee sein sollen. Die Auseinandersetzungen mit dem heutigen Präsidenten der Konföderation, Jefferson Davis, über diesen Punkt trübten ihre Beziehung weiter und die beiden Männer wurden für den Rest des Konflikts effektiv zu Feinden. Johnston wurde zum Befehlshaber der Potomac-Armee (später der Armee von Nord-Virginia) ernannt und zog im Frühjahr 1862 nach Süden, um sich mit der Halbinselkampagne von Generalmajor George McClellan zu befassen. Zunächst blockierte Johnston die Truppen der Union in Yorktown und kämpfte in Williamsburg.
In der Nähe von Richmond war er gezwungen, Stellung zu beziehen, und griff am 31. Mai die Unionsarmee in Seven Pines an. Obwohl er McClellans Vormarsch stoppte, war Johnston an Schulter und Brust schwer verwundet. Um sich zu erholen, wurde Lee das Kommando über die Armee übertragen. Johnston wurde dafür kritisiert, dass er vor Richmond Boden unter den Füßen gegeben hatte, und war einer der wenigen, die sofort erkannt hatten, dass der Konföderation das Material und die Arbeitskräfte der Union fehlten. Er setzte sich für den Schutz dieser begrenzten Vermögenswerte ein. Infolgedessen ergab sich sein häufig Boden, während er versuchte, seine Armee zu schützen und vorteilhafte Positionen zu finden, von denen aus er kämpfen konnte.
Johnston erholte sich von seinen Wunden und erhielt das Kommando des Department of the West. Von dieser Position aus überwachte er die Aktionen der Armee von General Braxton Bragg in Tennessee und des Kommandos von Generalleutnant John Pemberton in Vicksburg. Als Generalmajor Ulysses S. Grant gegen Vicksburg kämpfte, bat Johnston Pemberton, sich mit ihm zusammenzuschließen, damit ihre vereinten Kräfte die Unionsarmee besiegen könnten. Dies wurde von Davis blockiert, der wünschte, Pemberton solle in der Vicksburg-Verteidigung bleiben. Da Johnston nicht die Männer hatte, die Grant herausfordern konnten, musste er Jackson, MS, evakuieren, damit die Stadt eingenommen und niedergebrannt werden konnte.
Nachdem Grant Vicksburg belagert hatte, kehrte Johnston nach Jackson zurück und arbeitete am Aufbau einer Hilfstruppe. Als er Anfang Juli nach Vicksburg aufbrach, erfuhr er, dass die Stadt am 4. Juli kapituliert hatte. Als er auf Jackson zurückfiel, wurde er später in diesem Monat von Generalmajor William T. Sherman aus der Stadt vertrieben. In diesem Herbst bat Bragg nach seiner Niederlage in der Schlacht von Chattanooga um Erleichterung. Widerstrebend ernannte Davis Johnston, um die Armee von Tennessee im Dezember zu befehligen. Johnston, der das Kommando übernahm, wurde von Davis unter Druck gesetzt, Chattanooga anzugreifen, was ihm jedoch mangels Vorräten nicht gelang.
In Erwartung, dass Shermans Unionstruppen in Chattanooga im Frühjahr gegen Atlanta vorgehen würden, baute Johnston in Dalton, GA, eine starke Verteidigungsposition auf. Als Sherman im Mai vorrückte, vermied er direkte Angriffe auf die Verteidigung der Konföderierten und begann stattdessen eine Reihe von Wendemanövern, die Johnston zwangen, Position für Position aufzugeben. Johnston räumte Raum für Zeit ein und führte eine Reihe kleiner Schlachten an Orten wie Resaca und New Hope Church. Am 27. Juni gelang es ihm, einen größeren Angriff der Union auf den Kennesaw Mountain zu stoppen, aber er sah erneut, wie Sherman sich um seine Flanke bewegte. Verärgert über einen vermeintlichen Mangel an Aggression ersetzte Davis Johnston am 17. Juli kontrovers durch General John Bell Hood. Hood war sehr aggressiv und griff Sherman wiederholt an, verlor Atlanta jedoch im September.
Da das Vermögen der Konföderierten Anfang 1865 nachließ, wurde Davis unter Druck gesetzt, dem populären Johnston ein neues Kommando zu erteilen. Er wurde ernannt, um das Department of South Carolina, Georgia und Florida sowie das Department of North Carolina und Southern Virginia zu leiten, und verfügte über wenige Truppen, um Shermans Vormarsch von Savannah nach Norden zu blockieren. Ende März überraschte Johnston einen Teil von Shermans Armee in der Schlacht von Bentonville, war jedoch letztendlich gezwungen, sich zurückzuziehen. Johnston erfuhr von Lees Kapitulation bei Appomattox am 9. April und begann die Kapitulationsgespräche mit Sherman am Bennett Place, NC. Nach umfangreichen Verhandlungen gab Johnston am 26. April die fast 90.000 Truppen in seinen Abteilungen ab. Nach der Übergabe gab Sherman Johnstons hungernden Männern zehn Tagesrationen, eine Geste, die der konföderierte Befehlshaber nie vergaß.