Představeným jezuitské koleje byl Páter Benjamin Šlajer, ten se rozhodl, po zvelebení koleje ke zvelebení také svatohorské kaple, na pomoc si přizval osvědčeného italského stavitele Carla Luraga (1615-1684). Podle představ a návrhů P: B. Šlajera architekt stavitel C. Lurago zpracoval plány na barokní komplex svatyní s řádovou rezidencí a kolejí, nejpravděpodobněji v tomto domě příbramské koleje v roce 1659, to mu bylo 45 roků. Podle tehdejšího zvyku starý kostel zůstával součástí nové přestavby, současné kněžiště s mariánským hlavním oltářem by mělo ve zdivu být gotická kaple.

Milánské stavitele bratry Carlo a Marto Lurago pozvali do Čech jezuité v Březnici postavili gymnasium, kněžský seminář kostely sv. Ignáce a Františka na náměstí a hřbitovní kapli sv. Rocha v létech 1642-1649, za války. Carlo Lurago postavil v Čechách mnohé církevní i světské barokní stavby (kostely sv. Ignáce v Praze a Chomutově, Klementinum, Náchodský zámek aj.).

P. B. Šlajer zavedl zapalování svítilny ve věži svatohorské kaple jako na majáku v noci před mariánskými svátky od roku 1658. Po přestavbě věže na barokní od roku 1661 se rozsvěcovala lucerna z každé soboty na neděli, náplně do lampy bylo používáno másla nebo oleje. Od elektrisace Svaté Hory v roce 1926 jsou používány elektrické žárovky, nyní s plynovými náplněmi. Světlo z věže je nazýváno "svatohorská hvězda".
V příbramské koleji pobývali a na Svaté Hoře působili čeští jezuité vlastenci. Páter Matiáš Wacslaw Stejer (1630-1692) byl vynikající a slavný kazatel, na jeho kázání chodily davy lidí z města a širokého okolí i poutníci z daleka. Napsal vlasteneckou učebnici "Žáček" - výborně dobrý způsob, jak se má dobře po česku psáti a tisknouti (1668) a knihu "Dědictví Svatowacslawské" (vydané 1669). Nechal se biřmovat knížecím staročeským jménem (stejně jako Josef Vácslav Myslbek 1848-1922), v dnešním přepisu,Václav.

Dalším byl učitel, historik a spisovatel Páter Bohuslav Balbín, napsal zde knihu "Diva Montis Sancti". Zajímavá je Balbínova zpráva o mohutném dubu svatohorském, jenž byl, jak se dověděl, v roce 1640 zasažen a zničen bleskem, ale z jeho žaludů roste kolem něho několik mladých doubců. Současný svatohorský dub by mohl mít stáří 380 až 400 roků.
Na konci roku 1664 přesídlili jezuité na Svatou Horu do provizorní dřevěné rezidence a příbramskou kolej prodali krejčovskému mistru, pozdějšímu primátorovi Wacslawu Tomášovi Lorencovi, původem Vlachovi.