Commencée sur des plans de 1590, sa construction se poursuivit jusqu'en 1611. L'hôtel fut élevé pour Diane de France, fille légitimée d'Henri II sous le nom de duchesse d'Angoulême.
Après la Révolution.
L'hôtel est loué à des particuliers. C'est là qu'Alphonse Daudet a écrit "Fromont jeune et Risler aîné et Jack".