Située sur l’emplacement d’un ancien vignoble au lieu-dit Beauregard en bordure de la route nationale 16 (actuelle rue Faidherbe), cette imposante demeure bourgeoise en brique, sans caractère architectural, aurait été construite pour l’industriel anglais C. W. Burton vers la fin du XIXe siècle. Ce château devait son appellation «Du Retiro» à la grotte sépulcrale préhistorique découverte en1816 dans un escarpement de la colline toute proche. Devant le château se trouvait un petit bassin d’agrément, et derrière, une ferme avec ses dépendances (seul le pigeonnier existe toujours).
Sur cette propriété de 17 hectares en grande partie boisée se trouvent les vertiges d’une ancienne carrière de pierre.
M. Burton, son épouse Alice Hoyle et leurs neuf enfants habitèrent ce château jusqu’en 1910 environ. Le château fut ensuite habité pendant une dizaine d’années par Alfred Boissière qui venant de l’Orne avait créé une verrière à Creil en 1888. C’est à cette époque que le domaine prit l’appellation de « Château des Rochers». Le château resta quelque temps inoccupé jusqu'à son achat avant la guerre de 1939-45 par l’usine Kuhlmann de Villers-Saint-Paul, dans le but d’y organiser des colonies de vacances pour les enfants du personnel.
Puis les Allemand l’occupèrent, et ensuite les Américains.
Dans les années 50, l’usine Kuhlmann y installa plusieurs logements pour ses ingénieurs. Ensuite le château fut de nouveau abandonné et commença à se détériorer. La ville en fit l’acquisition en 1982 et y installa en 1988 une salle multifonctions. L’ensemble des installations de l’Espace Culturel des Rochers fut inauguré le 22 octobre 1990.
La cabane aux singes :
Les habitants de Nogent et en particulier ceux de la rue Faidherbe connaissent bien ce nom : il s’agissait d’un bâtiment situé sur la propriété du Château des Rochers en bas de la cavée Mal à Main et qui servit de laboratoire à un savant russe : le professeur Voronoff, l’un des plus grands expérimentateurs de la greffe des tissus et des organes entre 1912 et 1930, qui croyait aux possibilités de rajeunir les hommes grâce à des transplantations de testicules de singes. L’école professionnelle s’y installa pendant la guerre. Par la suite ce laboratoire devint un centre de recherches de Kuhlmann pour des tests de médicaments sur les animaux.
Après avoir été occupé par la société FICOP, ce bâtiment a été détruit et a laissé la place à des logements collectifs.
