Kostel na Zelené hoře se stal jedním z nejnavštěvovanějších poutních míst a jeho areál místem pro uskutečnění mnohých velkolepých barokních slavností, které vyvrcholily v roce 1735 mohutnými oslavami 500 let od založení kláštera.
Fatální zásah pro poutní areál znamenal požár, který vypukl v klášteře 16. července 1784, kvůli silnému větru se oheň rozšířil i na poutní kostel a ambit a připravil je o střechu.
Po požáru následovala žádost tehdejšího opata Otto Steinbacha z Kranichštejna o zrušení kláštera. Císař Josef II. žádosti vyhověl v říjnu téhož roku, přestože zde původně zamýšlel ponechat útulek pro provinilé a církevními úřady odsouzené kněze. Ihned po požáru byla sice uspořádána sbírka, která měla umožnit opravit na kostele a ambitu napáchané škody, ale jediné, co se podařilo, bylo střechu provizorně zakrýt. Zbytek nepoužitých prostředků byl vrácen zpět dárcům. Když byl klášter zrušen a kostel byl určen k uzavření, byl zhotoven soupis kostelního inventáře a drahocennosti byly ihned odvezeny. V roce 1785 bylo povoleno sloužit mši na svátek sv. Jana Nepomuckého. I nadále však bylo počítáno s odvozem vybavení, k čemuž posléze částečně došlo. Varhany byly převezeny a nainstalovány v kostele sv. Václava v Radešínské Svratce, kazatelna do kostela P. Marie v Obyčtově a lavice do kostela sv. Martina v Jamách.
