Die Burg Stolpen, einst Nebenresidenz des Bischofs von Meißen, wurde 1559 Kurfürst August (1526 - 1586) mit der Stadt und dem Amt im vorteilhaften Tausch überlassen. In Stolpen verbrachte die Gräfin Cosel (1680 - 1765), Friedrich Augusts bekannteste Mätresse, 49 Jahre in Gefangenschaft, ohne sich etwas zu Schulden kommen lassen zu haben und ohne jemals verurteilt worden zu sein.