Cuentan los libros de historia que la congregación de San Felipe Neri no lo tuvo nada fácil el asentarse en Cádiz, ya que fue la última comunidad que se fundó en la capital. Todo eran pegas desde la autoridad local y de alguna que otra orden religiosa que no veía con buenos ojos el asentamiento de ahí que les dijesen que había muchos conventos por aquella época. Sin embargo, la fe mueve montañas y los presbíteros filipenses Diego Liñán y Pedro Acebedo obtuvieron por junio de 1671 la licencia del obispo Fray Alonso Vázquez de Toledo para fundar un oratorio en la ermita de Santa Elena, junto a las murallas de Puerta de Tierra.