Se encuentra situada en el más pronunciado quiebro de la Calle Real. La fachada, levantada en los primeros años del siglo XVI, está más cerca de la utilidad guerrera medieval que de la estética civil del Renacimiento.

Su posición, intramuros, formando ángulo recto con la puerta de San Martín obligó a la adopción de esta fuerte imagen de defensa del acceso, aunque la tradición popular lo atribuya al hecho de haber pertenecido anteriormente a un judío o al verdugo de la ciudad por lo que la casa tenía ya una denominación que, con gran astucia, el nuevo propietario cambió para siempre al cubrir toda la fachada de agudas puntas de diamante.

El edificio fue propiedad durante los años centrales del siglo XV, de Pero López de Ayala y su mujer Isabel de Silva, (se aprecia la heráldica del matrimonio en algunas tabicas de la casa). Pasó, por herencia, a su hijo Pedro quien la vendió hacia el 1500 al regidor Juan de la Hoz para establecer allí sus casas principales, momento en que se llevó a cabo la reforma del edificio en la que se incluyó la nueva fachada. En la clave de la puerta de acceso, así como en los dinteles de los cinco balcones de la fachada, puede verse el escudo de este linaje.

En la actualidad es sede de un centro de enseñanzas artísticas.