En 1675 Jeanne de Vilaplana, seigeuresse de Sorède, fit détruire la citadelle d’Ultréra afin de s’assurer qu’elle ne serait pas dominée par l’archidiacre de la ville. Lors de la destruction la chapelle intégrée dans les murs de la forteresse fut également détruite. Devant un tel forfait son frère François,  chanoine, fit édifier une autre chapelle dont certains morceaux furent directement issus de la destruction de l’ancienne. Elle fut consacrée en 1681, soit relativement rapidement. L’année suivante le chanoine obtient du pape Innocent XI la fondation d’une confrérie religieuse dont il prit la direction.

Abandonné au fil des années par les religieux, elle servira d’ermitage durant les années glorieuses de cette corporation, le XIX^e siècle. Puis à leur disparition, la chapelle fut entretenue par les différents curés de la paroisse de Sorède, puis par une association. Ravagée par les flammes tout récemment, la chapelle est à présent restaurée.

Le bâtiment, initialement assez petit, fut agrandi au fil du temps. Au XVIII^e siècle Joseph Calmetas, d’Elne, fit construire à ses frais deux chambres et la sacristie. Au XIX^e siècle on rajouta la cuisine sur la fontaine et le camaril. En 1840, le conseil des fabriques acheta 200 ares de terrain pour y planter des arbres. Le dernier ermite s’appelait Laurent Porteix, dit « zoù ». C’était un berger qui, devenu trop vieux, prit la place de l’ermite. Sa capallète est maintenant restaurée.

La chapelle contient un magnifique retable du XVIII^e siècle, classée monument historique depuis le 29 octobre 1997. Il a été restauré après un incendie en 2001 dans la chapelle.