En la Calle Fray Zacarías Martínez, 5 y 7, junto a la muralla, se encuentra el Palacio Escoriaza-Esquivel.
Fernán López de Escoriaza, médico del rey Enrique VIII de Inglaterra, y su mujer Victoria de Anda y Esquivel ordenaron construir este palacio a mediados del siglo XVI.
Por su riqueza arquitectónica y ornamental, se trata de uno de los mejores ejemplos de la arquitectura civil renacentista. Construido con piedra de mampostería, se organiza alrededor de un patio cuadrado de doble arquería superpuesta en tres de sus lados y una escalera. Los capiteles y medallones de las columnas están ricamente adornados. Cabe destacar la fachada principal, frente a una plazuela, en la que sobresale la portada plateresca donde se pueden ver los bustos del propietario y su esposa.