Il romitorio, edificato tra il XVI e il XVII secolo, è intitolato a San Francesco Saverio (Francisco de Jasso Azpilcueta Atondo y Aznares de Javier), missionario spagnolo nell'Estremo Oriente. Viaggiò in India, Malesia e Giappone, dove celebrò il primo battesimo in quella terra. Morì a 46 anni, il 3 dicembre 1552.
Della struttura, composta da una cappella affiancata ad un ambiente di ricovero, rimangono solo rovine che mostrano l'elegante impostazione architettonica di alcuni elementi come il pregevole altare in muratura sormontato da un'edicola triangolare illuminata dal sole che entra da una piccola finestrella sul lato nord. Sul lato sud, un'apertura portava alla sagrestia; da questa si accedeva al luogo di ricovero dei romiti.
Il Romitorio era abitato, alla metà del Settecento, da eremiti che vestivano il tipico abito nero, solo sul finire dello stesso secolo essi indossarono quello dei Terziari Francescani.
Nel 1817 gli amministratori del Romitorio erano Domenico Battaglini e Michelangelo Pavolini, nel medesimo anno, come si legge in registri conservati all'Archivio Storico di Marciana "...devono celebrarsi ogn' anno 12 messe, e celebrasi la Festa coll'intervento di tutto il clero (...). La chiesa poi minaccia ruina, quindi è necesario un sollecito risarcimento.".
Nel 1846 la struttura risultava "...danneggiata dall'umido per essere da un lato il terreno molto al di sopra del pavimento (....). Converrebbe rialzare tutto il fabbricato (...). Sarà necessario ancora di aprire una finestra dalla parte di Levante per procurare una ventilazione al'interno dell'Oratorio suindicato."