La ermita de San Jose estaba asociada a los cultos religiosos de los habitantes de la finca marmolejeña de la Centenera.Se desconoce la fecha exacta de su construcción, pero hay acuerdo para situar la ermita que hemos conocido, a mediados del Siglo XIX, aunque no se puede descartar del todo un origen anterior.
El último patrón de la ermita fue Manuel Garzon y Guerrero, notario de la vecina ciudad de Andujar, el escudo nobiliario que lucia la ermita sobre su portada pertenecia al apellido de su mujer: Álvarez.
La ermita se encuentra actualmente en ruinas.