Este soberbio edificio de estirpe Herreriana, fue mandado construir por D. Pedro de Velasco y Bracamonte y se le atribuye a Juan Gómez de Mora. Su ejecución se efectúa entre 1623 y 1639, durante el reinado de Felipe IV.
El edificio sufre las vicisitudes del reinado, en la consolidación de la capilla, que forma parte del Palacio, muestra carencias en su estructura que se corresponden a los años de escasez y de profunda crisis que sufre la monarquía hispana. Este palacio perteneció a la antigua y poderosa familia de los Fernández de Velasco, durante una época, Condestables de Castilla.
