A sua origem é do séc. VIII, quando Silves era uma cidade próspera e opulenta. Durante os séc. XII e XIII sofreu vários cercos até à conquista por D. Sancho I.
É difícil de precisar a origem da Sé, mas julga-se que terá sido erigida sobre uma mesquita. Porém, este edifício atual terá sido iniciado entre meados e finais do século XIII.