En 16 de julio del año de 1597 despachó el Deán y cabildo de este Arzobispado de Santafé en Sede Vacante, licencia para que se hiciese ermita, en sitio junto a la Villa de Leiva, con título de Nuestra Señora de la Candelaria, a pedimento del hermano Juan Rodríguez, por haber hecho relación que determinado de dejar las cosas del mundo y apartarse a residir fuéra de poblado en algún yermo para tener recogimiento y servir a Dios, que era su principal intento, se había recogido dos años antes en términos de Sátiva, pueblo de indios, con el hermano Diego y otros, hasta que habría cinco o seis meses que se resolvió estar en los del pueblo de Tinjacá, de la encomienda de Andrés Velosa, vecino de la ciudad de Tunja, que estaba dos leguas de la Villa de Leiva, donde pretendía hacer una ermita y iglesia para que en ella se dijese misa y les administrasen los sacramentos a ellos y a los demás, cuando allí acudiesen para recebir consuelo; y dando la obediencia por si y los demás al Cabildo Eclesiástico y Arzobispo, fuesen recibidos en su amparo y se les diese licencia para que en el sitio señalado por el encomendero pudiese hacer y fundar la tal iglesia y ermita, en la cual, como estuviese con la decencia que se requería, pudiese decir misa cualquier sacerdote aprobado y administrar los Santos Sacramentos, y él y los demás hermanos, confesando y comulgando cumpliesen con la iglesia, en especial con la cuaresma de cada año, y los curas de las iglesias donde antes tenían obligación de acudir los tuviesen por confesados y haber cumplido con el precepto de la Iglesia; y para que viese cómo estaba decente para poder celebrar en la ermita que pretendía hacer se cometiese, y que se le diese licencia de pedir limosna para ello, con que el Cabildo Eclesiástico les admitió la obediencia debajo de su jurisdicción y del Arzobispo, y les dio licencia para hacer la ermita con permisión del encomendero, y que el Vicario de la Villa de Leiva reconociese la decencia y diese su aprobación para que se celebrase misa y se administrasen los sacramentos, como se pedía, y para que pudiesen pedir limosna.

Siete años después, en el de 1604, a 18 de mayo, por petición dada ante el Arzobispo don Bartolomé Lobo Guerrero, el hermano Domingo de Cáceres, ermitaño, hizo relación que estaba recogido con otros compañeros en la ermita y casa de Nuestra Señora de la Candelaria, con licencia; y entonces, movidos con deseos de mayor perfección y recogimiento, se querían reducir a vida monástica y regular, para lo cual habían pedido al provincial de la orden de nuestro Padre San Agustín los recibiese en la congregación de ermitaños, según las constituciones de recolección, debajo de las cuales querían profesar solemnemente los tres votos esenciales, y pedían licencia para pasarse a la recolección con el sitio, casa y ermita. Y el Arzobispo, por su auto de 19 del mismo mes y año, la dio para que recibiesen el hábito de recoletos de San Agustín y viviesen juntamente con religiosos de esta orden, y aprobó la donación que otorgó el propio día el Domingo de Cáceres ante Gaspar de Avila, escribano, de la ermita, imagen, ornamentos, casas y sitio, aceptada por el provincial fray Vicente Mallol, que era natural de Valencia. Y por otra escritura de 21 del propio mes y año se obligó el provincial a tener la casa para frailes de recolección y no enajenarla. Inclinó esta moción de ermitaños el padre maestro fray Mateo Delgado, religioso agustiniano, doctrinero a la sazón de Ráquira, a ser de los primeros que de la observancia pasaron a la recoleta, siendo su fundador, como también el padre fray Vicente Mallol, acabado su provincialato.Y los ermitaños eran el Domingo de Cáceres, Antonio de la Cruz, Alonso Sánchez, Pedro Martínez, Miguel Suárez, Domingo de Anaya y Francisco Rodríguez.

En un capítulo intermedio de la religión de San Agustín, hecho en la ciudad de Santafé en 11 de diciembre del año de 1604, se recibió y agregó al cuerpo de la Provincia la casa de Nuestra Señora de la Candelaria como convento diputado para los religiosos que quisiesen recogerse y guardar con mayor rigor sus constituciones, conforme al postrer capítulo de ella y no en otra manera; y siempre y cuando alguna persona pidiese el hábito en este convento nuevo, se lo pudiese dar el prior, informado primero el provincial de la calidad y partes, y con su licencia y habiendo hecho las diligencias que mandan los motus proprios; y en cuanto a los estatutos que se habían de guardar, se confirmó lo hecho por el provincial, a quien siendo necesario remitían su moderación o dispensación.