内城为陈廷敬伯父陈昌言于明崇祯六年所建，呈不规则长方形。其建筑设计古朴粗犷，展现出明代遗构的浑厚与坚固。外城紧依内城西城墙而筑，平面近乎方形，为陈廷敬入阁拜相后所建，民间又称其为“相府”。其建筑布局讲究、雕刻精美，给人富丽堂皇的之感。

星牌体育直播陈廷敬从政五十三载，一生以清廉正直闻名，是康熙皇帝不可或缺的肱股之臣。其故居，因康熙皇帝两次于此下榻，故名“皇城”。