Niemal w całości była ona pokryta stiukami. Znajdowały się w niej loże dla fundatorów i chór dla śpiewaków. Kaplicę tę uznano za najpiękniejszą na Podlasiu. Dramatem tego kościoła było to, że szczyt rozwoju i piękna budowle osiągnęły wtedy, gdy Polska chyliła się już ku upadkowi. Zbliżały się czasy zaborów, ucisku narodowego i religijnego. W ramach represji po powstaniu listopadowym władze carskie usunęły z Drohiczyna w 1832 r. franciszkanów, a ich kościół i klasztor przejęły na swoje potrzeby: klasztor przeznaczony został na koszary wojskowe. Kościół został zamknięty na 85 lat, a jego zakrystię zamieniono na cerkiewną kaplicę dla carskiego wojska, a następnie dla dziewcząt kształcących się w rosyjskim studium nauczycielskim. Kościół pofranciszkański stopniowo popadał w ruinę.
W 1939 r. sowieci kościół zamienili na śmietnik miejski wysypując i wylewając do jego wnętrza wszelkie brudy i nieczystości. Uciekając przed Niemcami 22 czerwca 1941 r. podpalili pofranciszkańską świątynię. Pożar zniszczył dachy, sklepienia, hełmy na dzwonnicy i resztki zachowanych stiukowych ołtarzy. Po wojnie społeczność Drohiczyna znów podjęła odbudowę kościoła pofranciszkańskiego. Dokonano naprawy dachu, sklepień, odbudowano cztery stiukowe ołtarze. W ostatnich latach położono marmurową posadzkę, która dodała kościołowi nowego blasku. Pragnieniem społeczności Drohiczyna jest odbudowa kaplicy loretańskiej, która powoli następuje.