L’antica sede vescovile si trovava originariamente accanto alla Cattedrale sul Girfalco ma fu distrutta durante l’assedio di Federico Barbarossa. Nel 1391 Antonio de Vetulis, vescovo e principe di Fermo, fece e realizzare il primo nucleo del nuovo palazzo accanto al Palazzo dei Priori.
Nel 1741 l’Arcivescovo Alessandro Borgia, come recita ancora la lapide posta all’esterno, volle la decorazione con marmi d’Istria dell’ingresso e la chiusura del cortile con un cancello.
All’interno sono situati gli appartamenti arcivescovili e opere d’arte come la Traslazione della Santa Casa di Loreto attribuita a Pietro Testa.