A devoção dos crentes foi possivelmente o que fez com que esta capela mudasse de nome para o atual Nossa Senhora de Oliveira. A edificação data de 1683.
A Fortaleza surgiu para defesa da Cidade, tendo sido iniciada ainda na Dinastia Filipina de acordo com uma inscrição no Portão de Armas, e terminada em de 1614.
Esta igreja veio substituir a Igreja de Nossa Senhora do Calhau, que era matriz da freguesia, onde estava a imagem de S. Tiago Menor, totalmente destruída por um aluvião em 1803.
