O Castelo foi fundado em 955 por iniciativa de São Rosendo. D. Afonso Henriques conquistou este Castelo aos Leonenses em 1140, mandando-o reparar cinco anos mais tarde.
De invocação a Nossa Senhora da Visitação, foi fundado na época pré-românica, embora com grandes modificações posteriores com a campanha gótica e outra na segunda metade do século XVIII.
O Pelourinho, datado de 1560, chegou a ser desmantelado em 1860, mas foi reconstruído e remontado no seu local original diante do antigo edifício da Casa da Câmara.
Construída em alvenaria de granito, sem guardas e pavimento de calçada. O tabuleiro arqueado sobre um único arco de volta redonda, as aduelas são largas e curtas e o extradorso irregular.