Sendo a residência do D. Afonso, do primitivo castelo subsistem as muralhas, duas portas e algumas torres. Este Monumento está classificado como Monumento Nacional.
Uma das duas portas do burgo de Ourém, mais conhecida como porta da vila, na parte norte, está situada nas traseiras da Colegiada e ao lado da fonte gótica.