Contudo a edificação vai no sentido de que a sua iniciação terá sido no reinado de D. Sancho I, vindo a ser doado à Ordem de Santiago por D. Afonso por volta de 1220.
No ano de 1300 chega à Ordem dos Templários pelas mãos de D. Dinis, tendo mais tarde, mais concretamente no século XVI, regressado à coroa devido à extinção das ordens religiosas.
Como todas as fortificações, no século XIX caíram na degradação, apenas restando fragmentos das muralhas.
Este castelo caiu num caso de lenda, em que a filha do Governador do Monsanto foi raptada pelo alcaide de Castelo da Penha Garcia. O jovem foi capturado e condenado à morte. Todavia D. Branca, a refém, apelou ao pai o perdão, tendo este sido condenado a ficar sem um braço.
Segundo a lenda, o decepado continua a vaguear pelas torres do castelo.
Este ponto está situado na localidade Penha Garcia, na freguesia Penha Garcia.
(Distância: 123 m W)
De fuste cilíndrico e liso, encontra-se coroado por uma peça cónica boleada encontrando-se no cimo com dois escudos, um com as armas nacionais e outro com cinco flores-de-lis e rosetas entre as volutas.
(Distância: 187 m W)
Situada no centro da vila, não podia estar em melhor localização pois este é um ponto de passagem de quem visita Penha Garcia.
(Distância: 334 m N)
Para aqueles visitantes que passam por Penha Garcia fica a ideia de como foi possível a existência de uma povoação num terreno acidentado e abrupto em granito.
(Distância: 8 km W)
Do século XVI, apresenta uma fachada de estilo renascentista com um pequeno campanário.
(Distância: 8 km W)
Estas Sepulturas estão situadas próximo da Capela de São Miguel do Castelo, formando um grupo de treze sepulturas, também como a capela do século XII pertencente à época do românico.
(Distância: 8 km W)
Ou Capela de São Miguel do Castelo, de enquadramento rural isolado e a meia encosta, está situada extramuros ao castelo num espaço circundante.
(Distância: 8 km W)
Igreja Matriz ou Igreja de São Salvador, templo da época do séc. XV/XVI, foi erguida para substituir a antiga matriz, a Capela de São Miguel do Castelo.
(Distância: 8 km W)
Este castelo tem fama da resistência dos ataques como dos árabes, castelhanos e franceses, e dos sete anos do tempo do famoso Viriato.
(Distância: 9 km W)
Uma pequena gruta situada na Rua do Castelo, pois fica a caminho do castelo da vila.
(Distância: 9 km W)
Pelourinho, Imóvel de Interesse Público desde 1933, do séc. XVI, de estilo manuelino, e a Igreja da Misericórdia, maneirista do séc. XVI, com uma planta longitudinal composta por nave e sacristia.
