白宫在被烧毁之前被称为 总统官邸。最初的设计师詹姆斯·霍班从爱尔兰的莱因斯特府（伦斯特府）获得灵感，这座建筑体现了新古典主义的庄重风格，外墙由弗吉尼亚灰色砂岩砌成，颜色介于浅灰与淡白之间，因此也被称为“灰宫”。在1814年的英美战争中，英国军队攻入华盛顿特区，放火焚烧了白宫，只留下了一副空架子。1817年重新修复时，为了掩饰火烧过的痕迹，门罗总统下令在灰色沙石上漆上了一层白色的油漆，此后这栋总统官邸一直被称为“白宫”。1902年，美国总统西奥多·罗斯福正式把它命名为“白宫”，后来成为美国政府的代名词。