La Fortaleza Baja o Castillo de la Villa, es una de las defensas más importantes que poseía la Orden de Calatrava frente al Reino de Granada.

Paralelamente al desarrollo de la Fortaleza Alta se construye la Fortaleza Baja, o Castillo de la Villa, ampliando y reforzando las antiguas defensas.

Ésta ocupaba un pequeño cerro que domina propiamente la ciudad. Estaba amurallada dentro del mismo recinto murado de Martos y, a su vez, se encontraba separada de éste, formando el último reducto defensivo. Se trataba de una alcazaba o ciudadela  rodeada por lienzos de muralla almenada, así como pasadizos y torres, dejando libre el espacio central para la construcción de edificios administrativos y religiosos: iglesia de Santa Catalina, sede de la gobernación, caballerizas, tahonas, lagares, aljibes, etc. Según testimonios de una inspección realizada por los Visitadores de la Orden de Calatrava en el siglo XVI con motivo de reparar las deficiencias de la Fortaleza Baja.