El Oratorio de la Santa Cueva perteneció a la Congregación del Retiro Espiritual, fundada en Cádiz hacia 1730. Entre sus miembros, se encontraban los personajes más eminentes de la sociedad gaditana del siglo XVIII. Uno de ellos, el marqués de Valde-Iñigo, utilizó gran parte de la fortuna familiar, derivada del comercio con México, en la construcción del actual oratorio.

La fachada del conjunto es muy sencilla, articulada por pilastras dóricas, entre las que se encuentra el retablo público con la pintura de la Virgen del Refugio de Franz Riedmayer. El interior se divide en dos salas: un sótano dedicado a la pasión y muerte de Cristo, y el otro superior consagrado a la exaltación de la Eucaristía. La capilla inferior, construida en 1783, fue diseñada por Torcuato Cayón como un espacio austero apto para prácticas penitenciales, donde se encuentra la imagen del Calvario, de gran interés. En este lugar, cada Viernes Santo, se celebra la ceremonia del Sermón de las Siete Palabras, acompañada musicalmente por un cuarteto que interpreta la obra de Hadyn, compuesta a petición del Marqués de Valde-Iñigo.

La capilla alta o sacramental ofrece, por su riqueza decorativa, un refinado contraste con la zona penitencial, en la que el pequeño templo es de gran interés. Fue terminado en 1796 y es obra de Torcuato Bejumeda, quien concibió un espacio unitario de planta ovalada siguiendo la tradición manierista. En la zona superior de este espacio son de gran interés artístico los lienzos redondos, tres de los cuales son obra de Francisco Goya y que representan la multiplicación de los panes y los peces, la parábola del invitado a la boda y la Santa Cena; considerado como el grupo de obras de arte de temática religiosa más exitoso del artista aragonés.