O nome de Castro Daire provém de um castro que existiu na parte mais alta do monte onde a vila se encontra. Sendo um local habitado no tempo dos romanos, existem documentos, uma ponte e uma lápide do tempo de Caio Júlio César.
Um museu arqueológico e etnográfico na Casa da Cerca, com uma exposição de objetos de artesanato, trajes regionais e objetos demonstrativos da produção de linho e de lã, além de objetos arqueológicos.