Se asienta sobre el lugar que en el s.XVI ocupó una antigua ermita y humilladero en lo que ahora sería el actual crucero de la iglesia con entrada desde la plaza de San Antón.
En la 2ª mitad del s.XIX la ermita sufrió varias restauraciones. La de 1883 fue a cargo del arquitecto Francisco Cabas, el mismo que dirigió las obras de la Catedral de la Almudena de Madrid. Se aumentó el campanario y las agujas con que este termina.
Tras su destrucción en la Guerra Civil, fue reconstruida y terminada en 1940 realizándose entonces la Cripta que décadas más tarde se convirtió en Museo.
En 1962, la hermandad de Nuestro Padre Jesús del Perdón encargó la realización del retablo del altar mayor a Luis Ortega Bru, uno de los más célebres imagineros del s.XX. Anteriormente, en 1955, el escultor gaditano trabajó para esta cofradía en la realización de las imágenes de la Virgen de la Esperanza, San Juan y el Cristo de la Veracruz.
El retablo en madera policromada de forma ojival, cubre todo el muro de cabecera que queda cobijado por un arco apuntado. En el centro, está situada la imagen titular de la hermandad, obra del escultor vasco Quintín de Torre en 1942, y el resto de espacio se articula mediante tres grandes cuadros realizados en alto relieve, cubriéndose las zonas intermedias por una profusa decoración vegetal, así como las imágenes de los 4 evangelistas junto a San Pablo y San Pedro, que flanquean de dos en dos cada uno de los relieves.
En el año 2002, coincidiendo con la reforma de la fachada exterior, se culminó la restauración del paso interior existente para realizar el tradicional besapié de Nuestro Padre Jesús, con la instalación del rodapié, zócalo, pasamanos y techo en madera tallada y policromada.
En la ermita destacan sus vidrieras y capillas. En una de sus paredes, resalta el cuadro del pintor local Antonio Iniesta sobre la histórica jornada del Viernes Santo de 1809, reproduce la iniciativa del párroco D. Pedro Álvarez de Sotomayor de sacar la imagen del Cristo Arrodillado hasta la Ermita del Cristo de las Agonías, ante la inminencia del ataque por parte de las tropas francesas para recibir al general Sebastiani y pedirle misericordia para la población. El militar concedió el perdón y desciñéndose del fajín verde que portaba, lo puso en la cintura de la imagen en señal de acatamiento, de ahí el nombre de Nuestro Padre Jesús del Perdón que tomó desde entonces el venerado patrón.
El auténtico fajín que el patrón luce en sus salidas procesionales junto con otros tesoros propiedad de la hermandad se exponen en las vitrinas de la Cripta-Museo, existente bajo la nave central y que fue rehabilitada y acondicionada en 1988.
Para el proceso de remodelación de la fachada se empleó la piedra caliza del páramo de Campaspero, procedente de la cuenca del Duero. Tiene un revestimiento pétreo con piezas macizas, un alfiz sobre la puerta principal, cuatro grandes pilastras que dividen en tres cuerpos la fachada y un gran zócalo almohadillado que la recorre.
Dos imágenes, una del Sagrado Corazón de Jesús y otra de la Virgen de Belén se sitúan sobre la fachada, a cada lado de la espadaña que la corona.
