El citado Pedro Ortiz de Pobes fue promotor de la creación de un monasterio en el lugar de Valdebusto, concediendo en 1403 y 1419 tierras, pastos, soto y huerta, además de derechos para extraer piedra y leñas, a unos ermitaños asentados en el lugar, que más tarde adoptarían la regla de San Jerónimo. Este convento conoció épocas de cierto esplendor en los siglos siguientes, hasta que en 1837 todas sus dependencias y propiedades (unas 230 has,) fueron vendidas en pública subasta como consecuencia de las leyes de Desamortización (Mendizábal, decreto de 25 de julio de 1835), el comprador fue Manuel Alday Cordero, comerciante y abogado de origen santanderino.
En 1872 salió a subasta pública el Monte llamado de El Esquileo (aproximadamente 1.750 has,) en término de Valoria, propiedad del Duque de Berwick y Alba, patrimonio señorial secular de aquella casa noble y sus predecesores. Fue adquirido en 1877 por el comerciante, industrial y banquero de origen palentino Juan Pombo Conejo. Este monte se dividió en dos partes, los actuales Esquileo de Arriba y de Abajo, en 1925, entre dos de los herederos del comprador.
A lo largo del siglo XX Valoria experimentó una progresiva e intensa pérdida de población (408 habitantes en 1900, 70 habitantes en 2001) y en mayo de 1971 su Ayuntamiento solicitó la incorporación de su término municipal al de Ampudia, alegando la continua disminución de su población como consecuencia de la emigración y que carece de recursos económicos suficientes para prestar los servicios municipales, (BOE Num. 132 de 3 de junio de 1971. Decreto 1166/1971); solicitud que aceptó el consistorio ampudiano y fue oficialmente sancionada por Decreto de la Jefatura del Estado.
De su pasado histórico quedan algunos vestigios de gran interés. El más destacable es la iglesia de San Fructuoso (quizá de San Miguel en origen) declarada Bien de Interés Cultural con categoría de Monumento. Se trata de un excelente edificio románico de una sola nave, amplio espacio y gran presbiterio. Sus posibles orígenes datan del siglo XII, con indicios de un sustrato anterior prerrománico. El templo consta de una sola nave que presenta bóveda de cañón, dividida en tres tramos por arcos fajones ligeramente apuntados. Se remata en ábside semicircular con cuatro pequeñas columnas adosadas. En el siglo XVIII, se reformó con un segundo pórtico y se remató la torre al gusto barroco, toda la edificación está realizada en fábrica de sillería y la cubierta es de teja árabe. De su interior cabe destacar la talla de un Cristo gótico (S.XV), dos retablos barrocos, varias tallas policromadas y un curioso sepulcro de caballero labrado en piedra. Contaba también con una magnífica talla de la Virgen con el niño, del siglo XIII (Virgen del castillo), que hoy figura en el Museo Frederic Marès de Barcelona.
A las afueras del pueblo destaca sobre un cerro la ermita de Ntra. Sra. de Guadalupe (siglo XV, quizá de San Esteban en origen), cuya fiesta anual se celebra el 15 de agosto.
