Gradnju samostana i crkve uvelike su pomogli zapovjednici mletačkih galija i hvarski plemići, dok je Hanibalov djed za gradnju dao tisuću dukata.

Do danas su u izvornom obliku sačuvani svod te rozeta na portalu s Gospinim reljefom, rad Nikole Firentinca. U crkvi, ispod glavnog oltara, grob je Hanibala Lucića, najpoznatijeg 'hvarskog sina'.

Unutar samostana mogu se vidjeti crkvene knjige, misna ruha, rukopisi, numizmatička zbirka te bogata zbirka slika starih majstora, od kojih je najpoznatija slika 'Posljednja večera'.