Brown naît en dans la ville de New York. Dès , il sort diplômé du Lyçée (Columbia College) à 15 ans puis entre en à l'Université de Columbia où il obtient un doctorat en physique en , à l'âge de 21 ans.
En , Brown est nommé dans l'équipe de Recherche et Développement au Laboratoire de Radiation
Lawrence de l'Université de Californie, à Berkeley. Il travaille dans la Branche
Livermore Branch depuis ses débuts en et devient directeur en , succédant à Edward Teller
. Durant ces années, il participe au projet Plowshare qui étudie les
applications pacifiques de la puissance nucléaire. Il est conseiller scientifique sur
la détection de tests d'armes nucléaires aux conférences de Genève de et , et
conseiller scientifique pour l'USAF.
En Kennedy nomme Brown directeur de la recherche et l'ingéniérie de Défense.
Secrétaire de l'USAF et Blue Book (1965-1969)
En le président Johnson le nomme Secrétaire
de l'USAF. En le House Armed Service Committee
tient de brèves auditions sur les ovnis, qui aboutissent à n'identifier aucune preuve d'origine extraterrestre.
Brown assure au comité que la plupart des observations s'expliquent facilement et qu'il n'y a pas de preuves que des
étrangers d'outre-espace
aient visité la Terre. Il déclare aux membres du comité, cependant, que l'USAF gardera un esprit ouvert et continuera à enquêter sur tous les
rapports d'ovnis s1Congress Reassured on Space
Visits, New York Times, 6 Avril 1966. Le , la rédaction du rapport du projet
Blue Book est terminée et celui-ci est remis à
Brown par le président de l'université du Colorado.
Caltech (1969-1977)
En , Brown quitte son poste de Secrétaire de l'USAF pour devenir président de Caltech, prenant la suite de Lee DuBridge qui va être conseiller scientifique du président Nixon. Il guide la campus durant une période difficile incluant des controverses à propos du Vietnam, des coupes sensibles dans l'aide à l'éducation supérieure, la recession et l'inflation galopante. C'est au cours de la présidence Brown que les femmes sont pour la première fois admises comme étudiantes, et des programmes pour des chances égales sont mis en place. Durant cette période est également établi le Laboratoire pour la Qualité de l'Environnement de Caltech, ainsi que des installations informatiques et un développement du programme de Sciences Sociales.
De à , Brown sert comme représentant aux pourparlers sur les non-profifération des armes stratégiques (accord Strategic Arms Limitation Talks, ou SALT).
La Défense (1977-1981)
En , alors qu'il fait campagne pour la présidence, Jimmy
Carter fait la promesse de rendre accessible au public tout élément d'information que le pays possède sur les
ovnis.
A l'élection de Carter en , Brown quitte
Caltech pour devenir Secrétaire à la Défense le 20 janvier. Carter ne tient pas la promesse de Carter, et n'aura plus d'intervention publiques à ce sujet. Dans le
même temps, son équipe de la Maison Blanche détourne toutes les requêtes sur le sujet et son directeur de la NASA, Robert Frosch, comme Brown, rejettent officiellement le phénomène ovni comme
n'étant rien de plus que quelque chose existant seulement dans l'imagination du public s2[Marchetti 1979].
Brown quitte le secrétariat à la défense le , avec l'élection de Reagan. En , il est nommé professeur émérite de Caltech.