Pán Aleš Ferdinand Vratislav hrabě z Mitrovic, toho času na nejvyšší funkci v Českém království, president české komory pražské nechal si postavit naproti kostelu se hřbitovem městský palác asi v létech 1665 až 1667. Posunul se jižněji po Zlaté stezce z Mníšku pod Brdy, kde Vratislavsko-Mitrovický hrad vypálila švédská armáda a ruinu prodal novopečenému šlechtici koželuhu z pražské Kampy, který se proslavil v boji na Pražském mostě proti Švédům.

Město zadlužené kontribucemi armád prodalo obecní majetek "statek" vesnici Bohutín, jakožto dědičný obecní zpupný a nezávadný statek za 1800 zlatých rýnských se vším příslušenstvím a povinnostmi, lesy, polnostmi, lukami, březnické koleji Tovaryšstva Ježíšova 4. října 1667 a to na přímluvy Aleše Ferdinanda Vratislava hraběte z Mitrovic a Přibíka Jeníška z Újezda sezením na Březnici. Statek (majetek) Bohutín jezuité připojili k již dříve získané vsi Tisové, bohutínské grunty dávala do pachtu. V Bohutíně stál gotický kostel z poloviny 13. století, avšak v 19. století byl zbourán a nahrazen moderním, aby se do něho vešlo více lidí. Po zrušení jezuitského řádu v roce 1773 přešel statek do majetku císařského a královského studijního fondu.
Císař Leopold I. pro podporu poutního místa a jeho zvelebení daroval zříceninu příbramského hradu pražskému arcibiskupovi Monsignoru Matoušovi Ferdinandovi Zoubkovi z Bilenberka, darovací listinou z 1. října 1670. Za podmínek, že jej obnoví pro svůj občasný pobyt a kdyby se ve městě našlo nějaké příslušenství, které k hradu kdysi náleželo, na žádný způsob k němu potahováno nebude.

Arcibiskup se neprodleně dal do přestavby zříceniny gotického hradu na barokní zámek. Přestavba představovala obnovu kleneb v přízemí, zborcených dřevěných stropů v prvním a druhém patře a nové zastřešení s v Příbrami tehdy běžným, vlašským krovem a zbudoval nová větší okna. Pro větší komfort pro sebe i svého úřadu nechal přistavět západní křídlo s průjezdem do stavbou odděleného dvora.

Na lunetě ve svatohorských ambitech označené Příbram 1655 má štít přístavby barokní vzhled, ovšem ten mohl mít až po roce 1673 spíše 1675. Obdobně barokový štít jezuitské rezidence na lunetě s malířem zasaženým bleskem s dějem z roku 1629, může mít tento vzhled až po roce 1655, nebo později. Malíř Josef Mathauser čerpal z rytin o něco pozdějších znázorňujících Příbram již barokně přestavěnou, kdy se již zotavovala z poválečné bídy.

Arcibiskup v opraveném zámku uděloval poutníkům na Svatou Horu biřmování a své požehnání. Do Příbrami zajížděl a Svatou Horu velmi často navštěvoval. Kromě mariánského kultu propagoval a šířil kult národního světce svatého Václava, zasloužil se o obnovu mnohých kostelů a far. Nejvyšší činorodý církevní činitel v českém království zemřel v roce 1675.