Na mjestu dominikanskog samostana spominje se godine 1184. biskupska palača, u kojoj je te godine održano vjećanje bračke uprave s knezom na čelu.
Taj čin na Bolu i isprava (Povaljska listina) koja je tim povodom sastavljena hrvatskim jezikom i pismom imaju izvanredno značenje u povijesti Bola.

U zgradi biskupskoj (in palatio episcopatus), osnivaju dominikanci redovničku zajednicu.
Godine 1475. grade samostan i crkvu Gospe od milosti. Ova crkva, građena u nekoliko navrata, sačuvala je osnovne odlike kasne renesanse. Crkva je djelomice popločana grobnim pločama.

Pobočni mramorni oltari smatraju se među najljepšima na otoku, pogotovu oltar Gospe od ružarija. Vrijedne su slike hrvatskog baroknog slikara Tripe Kokolje (1661.-1713.) pod pjevalištem crkve.

Muzej samostana sadržava:

- zbirku pečinskih predmeta,
- bogatu numizmatičku zbirku,
- zbirku podmorske arheologije,
- zbirke misnog ruha,
- bogatu arhivsku građu,
- lapidarij s rimskom nadgrobnom stelom,
- starokrščanski sarkofag,
- dio oltarne pregrade, trokutni zabat.

Najveću pozornost privlači u samostanskoj muzejskoj pinakoteci Tintorettova oltarska pala Madona s Djetetom i svecima.
Muzejska pinakoteka uz Tintorettovu palu sadrži i zanimljive venecijanske slike XVI. i XVII. stoljeća.