Blair House zbudowano w 1824 roku. Jest najstarszą z czterech struktur tworzących President's Guest House. Oryginalnie zbudowany został dla Josepha Lovella, ósmego lekarza armii Stanów Zjednoczonych. W 1936 roku nabył go wydawca gazety i doradcę prezydenta Andrew Jacksona Francisa Prestona Blaira. Pozostał w tej rodzinie przez następne stulecie. Następnie w domu zamieszkał Montgomery Blair, syn Francisa Blaira i poczmistrz generalny w administracji Abrahama Lincolna.
W 1939 roku Blair House stał się pierwszym budynkiem w USA, który uznano za zabytek. Począwszy od 1942 roku rodzina Blair rozpoczęła dzierżawę nieruchomości rządowi USA do użytku przez odwiedzających dygnitarzy. Rząd nabył nieruchomość w grudniu 1942 roku, na prośbę Eleanor Roosevelt, której przeszkadzać miała wizyta Winstona Churchilla w Białym Domu. Podczas jednej z nocy Churchill miał próbować wejść do prywatnych apartamentów Franklina Roosevelta o 3:00 nad ranem, aby obudzić prezydenta, gdyż chciał z nim porozmawiać.
Przez większą część prezydentury Harry'ego Trumana Blair House służył jako tymczasowa rezydencja prezydenta, podczas gdy wnętrze Białego Domu było odnawiane. 1 listopada 1950 roku portorykańscy nacjonaliści Griselio Torresola i Oscar Collazo próbowali zamordować prezydenta Trumana w Blair House. Zabójstwo zostało udaremnione, po części przez policjanta z Białego Domu Leslie Coffeltiego, który zabił Torresolę, jednak wcześniej został przez niego śmiertelnie ranny.
W Blair House położonym przy Pennsylvania Avenue znajduje się czternaście pokoi z łazienkami, trzy jadalnie, dwie sale konferencyjne, kuchnia, salon piękności, sala do ćwiczeń, biblioteka z 1500 książkami i domowa pralnia. Personel składa się z dwóch kamerdynerów, odźwiernego, czterech gospodyń, dwóch szefów kuchni, pracza i kilku pracowników obsługi technicznej.