La cofradía tiene sus raíces en la procesión que la Cofradía de la Vera Cruz organizaba el Miércoles Santo en el s. XVII con la imagen de Jesús con la Cruz a Cuestas, que sigue desfilando con dicha cofradía y es conocida como el Nazareno Chico. Viendo los devotos que acompañaban el desfile el miércoles, sin ser parte de la cofradía, que los cofrades que participaban el Jueves Santo en la procesión de disciplina no acompañaban a la misma imagen de forma decorosa, se integraron en el desfile vestidos de manera similar a estos, con túnica de tafetán azul o morado y soga de esparto al cuello, y cargando una cruz dando ejemplo de penitencia. Estos devotos que no pertenecían a la Vera Cruz fundaron la Congregación en el Convento de San Francisco el Real, sede de la Vera Cruz, el 11 de noviembre de 1688, siendo refrendada canónicamente el 1 de mayo de 1689 con sede en dicho convento.