Nach vielen Jahren geprägt von Streitigkeiten über die Umgestaltung der Diozöse, erlangte Barbastro im Jahr 1571 die Würde eines Bischofssitzes zurück. Daraufhin verpflichtete sich die Stadt, den neuen Prälaten einen ihrer Würde angemessenen Wohnsitz zur Verfügung zu stellen. Die Geschichte des Palastes ist auch die Geschichte eines Bischofs, der durch die Beteiligung an diesem Projekt seinen Ruhm und sein Ansehen verewigt sehen wollte.
Einige nehmen an, dass die Stadt auf eigene Kosten ein neues Gebäude entwarf, die Kosten der jahrelangen Streitigkeiten und des Baus der tatsächlichen Kirche jedoch einen Bau verhinderten: Als treue Christen hatten die Bewohner ihr ganzes Vermögen der Kirche gegeben und eine verbrauchte und ausgezehrte Stadt hinterlassen.
27 Jahre später entschied sich die Stadt für den Kauf eines Gebäudekomplexes mit Grund- und Zusatzgebäuden.
Zwischen 1596 und 1600 wurden unter Leitung des Stadtbaumeister Andrés Castillón und des Zimmermanns Pedro de Ruesta entsprechende Anpassungen an den vier erworbenen Häusern vorgenommen. So weit möglich, wurde alles erhalten (Küchen, Schlafzimmer, Wohnräume, Säle, Weinkeller…). Neu errichtet wurden lediglich einige Elemente wie die Kapelle und ein Teil der Fassaden, um so dem Äußeren Einheit und Beständigkeit zu verleihen.
Von außen betrachtet entsprach die Anlage exakt den aragoneischen Palästen: Schlichte Formen, horizontale Fassaden, Schwerpunkt auf Ziegeln, aufeinander folgende Bögen unter den Vordächern… Die Galerie sollte das Dach zusätzlich stützen und für die Belüftung der Balken sorgen. Das Vordach schützte die Mauern vor Regen.
Carlos Muñoz Serrano war zwischen 1596 und 1604 Bischof von Arbastro.
Während des Unabhängigkeitskrieges diente die Anlage den französischen Truppen mehr als vier Jahre lang als Quartier.
Aufgrund ihres Alters und des Verfalls, dem sie während der 51 Jahre ohne Bewohner ausgesetzt war, bedurfte es 1896 einer derart grundlegenden Renovierung der Anlage, dass fast nichts aus dem 16. Jahrhundert übrig blieb.
Mit dem Einbau neuer und regelmäßig entlang der Mauer zur Palaststraße verteilter Fenster mussten die unregelmäßig verteilten Zwischenräume, die typisch für das 16. Jahrhundert waren, weichen. Nach dem Abriss des Tores aus der Renaissance entstanden an der zum Platz gelegenen Seite ein neues und zwei Erker.
