Fisher naît en à Atlanta (Georgia).
Son père, Parker William Fisher, un fonctionnaire du Congrès, déménage sa famille plusieurs fois avant Southern Pines (Caroline du Nord), qui devient leur résidence permanente. De là, il entre au Collège d'Etat de Caroline du Nord à Raleigh et après une interruption de deux ans durant lesquels il fait divers boulots, sort diplômé en en d'un bachelor of science en ingénierie mécanique. Longtemps fan d'aviation, il postule et est sélectionné comme pilote cadet dans l'Armée. en il sort diplômé de l'École de Vol Avancé de Kelly Field (Texas) et le fait partie des cinquante premiers à être nommé lieutenant en second du Corps Aérien de l'Armée Régulière, sous le Thomason Act.
Mitchel Field à Long Island (New York) est sa première affectation. Il y reste de en , d'abord affecté au 1er Escadron Bombardier puis au Q.-G. du 9ᵉ Groupement Bombardier. Il sert successivement comme pilote de B-10s et de B-18s, bombardier de groupe, officier de navigation de groupe assistant, et formateur de l'école de navigation du groupe.
en , le 1er lieutenant Fisher devient officier ingénieur de la base de Wheeler Field, à Hawaii. Promu capitaine, il devient commandant du 78ᵉ Escadron de Poursuite, puis pilote des P-36s et des P-40s.
Le capitaine Fisher est fait officier assistant des opérations pour la Force Aérienne Hawaïene en en . en , lui, le major Emmett "Rosie" O'Donnell et d'autres prennent part au vol de neuf B-17s depuis Hawaii vers les Philippines. Pour sa participation, il reçoit la Croix de Distinction en Vol.
Les "feuilles de chêne dorées" du major Fisher sont vieilles de deux jours quand, le , les Japonais attaquent Clark Field et l'unité qu'il commande, le 28ᵉ Escadron Bombardier du fameux 19ᵉ Groupe de Bombardement. Il porte le Cœur Mauve pour la blessure qu'il a reçue durant ce bombardement.
Le dirige le 28ᵉ Escadron de Bataan à Mindanao en où il est converti en unité d'infanterie. Durant plus de deux mois lui et ses hommes combattent l'armée japonaise avant que leur unité soit débordée. Hors des Philippines, le major Fisher reçoit le commandement de l'ensemble des unités de combat de l'est de Java. À la tombée de Java en , il est d'abord évacué en Australie puis en retourne aux Etats-Unis. De là jusque en , le lieutenant-colonel Fisher est au Q.-G. de la 3ᵉ Air Force à Tampa (Fla.). Il passe les quelques mois suivants à la 58ᵉ Escadrille de Bombardiers.
Portant ses nouvelles "eagles," le colonel Fisher entâme un long périple sur la route Amérique du Sud-Afrique vers la Chine pour prendre en charge le 308ᵉ Groupe Bombardier. Ses B-24s opèrent sous le contrôle direct du major-général Claire Chennault des fameux Flying Tigers. Le 308ᵉ Groupe participe à tous les types de missions que l'on peut trouver dans les livres, et quelques autres. Il est, en fait, la Force Aérienne Stratégique du théatre des opérations en Chine.
Le colonel Fisher quitte son commandement de combat en et rapporte à Washington (D.C.) en tant qu'adjoint du général Lauris Norstad, chef du personnel de la 20ᵉ Air Force. On lui décerne un rameau de chêne à la Légion du Mérite pour son travaille. Par la suite, il sert au Personnel Aérien à Washington, sous le général Curtis E. LeMay et le major-général Fred Anderson, jusque en où il entre au Collège de Guerre Aérienne à Maxwell Field (Alabama).
Durant environ un an après son diplôme obtenu en , le colonel Fisher est membre de la faculté du Collège de Guerre Aérienne. Il quitte l'Alabama pour le Texas en pour prendre le commandement de la 7ᵉ Escadrille de Bombardiers et de la base USAF de Carswell à Fort Worth. Ré-affecté en , il part à Tucson (Arizona) pour commander la 43ᵉ Escadrille de Bombardement et la base USAF de Davis-Monthan. Les 7ᵉ et 43ᵉ Escadrilles sont les deux premières de B-36 dans l'USAF. Lorsque la 36ᵉ Division Aérienne est activée en , le colonel Fisher en est nommé commandant et est promu brigadier général le mois suivant.
Avec toute son expérience des bombardiers, le général Fisher est un choix évident en pour assurer la direction du Commandement du Bombardement de l'Air Force en Extrême-Orient et les 3 escadrilles de B-29 opérant depuis les bases du Japon et d'Okinawa contre les cibles de Corée du Nord durant la dernière année de l'action Coréenne. Pour son service exceptionellement méritoire à cette position, il reçoit la Médaille de Distinction au Service.
en , le général LeMay demande à Fisher d'être inspecteur général du Q.-G. du SAC. Deux ans plus tard, en , Fisher prend le commandement de la 1ʳᵉ Division Aérienne nouvellement activée et, un an plus tard, le , il devient commandant en second de la 8ᵉ Air Force dont les quartiers-généraux sont à la base de l'Air Force de Westover (Massachusetts). À cette position, le , il obtient sa seconde étoile comme major général. Pour son travail dans la 8ᵉ Air Force, Fisher reçoit une 2de et 3ᵉ feuille de chêne et la Légion du Mérite.
Dans une lettre à Larry W. Bryant le , Fisher nie qu'il n'y a jamais eu de conclusion émise par l'USAF prétendant que les soucoupes volantes sont réelles et sont des vaisseaux de l'espace interplanétaire, et que ce document en question émis en par le projet Sign n'a jamais existé. Il est nommé à Washington en tant directeur adjoint de l'U.S. Air Force Legislative Liaison au Bureau du Secrétaire de l'USAF le , puis directeur le .
le , le général Fisher est choisi pour commander la Force Aérienne de Transport Oriental au sein du Service de Transport Aérien Militaire, dont les Q.-G. sont à la base USAF de McGuire (New Jersey). Cette dernière affectation lui octroie la responsabilité de l'ensemble des activités de transport MATS couvrant la totalité de la moitié orientale du globe.