El colegio de San Ildefonso, en peligro