Con planta desigual según la pendiente de la calle a la que den las fachadas, rejería de forja en ventanas y balcones, y una gran puerta de madera que da acceso al palacio, es lo que nos ofrece a primera vista el noble edificio.
Es una construcción del siglo XVIII, con tres plantas y cubierta con teja de medio cañón, siendo erigida con ladrillo visto y mampostería. Su interior está muy modificado, aunque dispone de una excelente carpintería que se aprecia en ventanas y puertas de machones.
El acceso se realiza a través de un gran portón. Sobre el mismo, un escudo representativo de la familia nobiliaria. Al otro lado, un atrio hoy dividido por un muro.
En las viviendas que están situadas junto a lo que es en la actualidad el Palacio de los Vélez, se encuentra una capilla, en mal estado; su entrada ricamente adornada con pilastras sostiene un gran escudo de los Vélez.
La estancia anterior a está capilla es un gran salón con balcones que cierran con puertas de madera. Aún se pueden observar las vigas con ménsulas.
Junto al palacio se sitúa lo que sería la entrada a los jardines, galardonada con el escudo de los Vélez y pináculos coronando la fachada.
Dentro de la casa llegaron a guardarse celosamente algunos archivos, ya que era el lugar de gestión de los asuntos de los territorios de los Fajardos. En la actualidad, todos estos fondos se encuentran en el Archivo Ducal de la Casa de Medina Sidonia en Sanlúcar de Barrameda, en Cádiz. Doña Isabel Álvarez de Toledo y Maura, tiene el título de Duquesa de Medina Sidonia y el Marquesado de los Vélez.
