El palacio está integrado por dos volúmenes: un gran bloque cuadrangular de sillería de 20 x 14 m., usado como vivienda, y una torre cuadrada 6 m de lado de carácter defensivo, que se alza en una de las esquinas. La torre destacaba en alzado hasta que se recreció el cuerpo del palacio con una galería de arcos de ladrillo. En sus muros se abrieron grandes vanos para albergar piezas de artillería.

De esta fortificación solo se sabe que existía en el siglo XV y en el XVII era propiedad de Pedro de Altarriba, barón de Huerto y Almuniente. Posteriormente perteneció al duque de Solferino por herencia.