Pertencendo Avô a uma zona de rede defensiva a sul do rio Alva, há referências do castelo a partir do século XII, sendo a edificação ligada com a atividade mineira da região. O castelo foi transformado no tempo de D. Dinis, mantendo-se até ao século XIX em que perdeu importância.
Coordenadas GPS: N 40 17.595' W 007 54.277'