この建物はもと萩藩の軽卒(中間)、水井武兵衛(伊藤直右衛門)の居宅であったが、安政元年(1854) に博文の父十蔵が一家をあげて伊藤家に入家した。その後、博文は17歳のとき吉田松陰の門に入って教育を受けた。志士としての活躍や英国への留学など、この家に安住するいとまはなかったが、明治元年 (1868) に兵庫県知事に赴任するまでここが本拠であった。
　その後、明治憲法制定の任にあたってその功を遂げ、初代内閣総理大臣に就任するなど政府の要職を歴任した。