صمم المهندس المعماري الأيرلندي "جيمس هوبان" البيت الأبيض بعد الفوز في مسابقة كأفضل تصميم، وبدأ إنشاءه عام 1792 وكان أول رئيس يقيم فيه هو الرئيس الأميركي "جون آدامز" وزوجته، وفي ذلك الوقت كان يسمى بـ"بيت الرئيس".
وعندما بدأت الحرب عام 1812، كان الجيش البريطاني لا يزال يواجه أزمة بسبب الثورة الأميركية، وسنحت لدى بريطانيا وقتها فكرة حرق كل شيء في "كابيتول سيتي"، وهو ما جعل البريطانيين يقتحمون المدينة ويحرقون كل شيء فيها.
ومن بين المباني التي أضرموا فيها النيران "بيت الرئيس"، ولحسن الحظ لم يحترق هذا المبنى بالكامل، ولكن واجهته الخارجية أصبحت سوداء بسبب الأدخنة وأضرار الحريق، وتم طلاء "بيت الرئيس" لاحقاً بطلاء أبيض، ومنذ ذلك الحين أصبح العامة وبعض المسؤولين يطلقون عليه البيت الأبيض.
وفي عام 1901، أطلق الرئيس الأميركي ثيودور روزفلت رسمياً إسم "البيت الأبيض" على المنزل الخاص، برئيس الولايات المتحدة.
