Il est demeure seigneuriale au XVIème et XVIIème siècle avec la famille De Nérestang et autres propriétaires, puis prison en des temps difficiles.
Le château fût acquis au XIXème siècle par les Religieuses Saint Joseph qui en firent une institution pour jeunes filles.
Avec le départ des religieuses en 1960, l’Association des amis de Saint-Victor s’en rend acquéreur en 1968, puis le cède en 1970 à la Ville de Saint-Etienne qui le restaure et laisse à l’Association le soin de le gérer.
Entouré par des jardins, il est aujourd’hui, un centre culturel incontournable.
La galerie d’art du château accueille toute l’année des artistes de tous horizons dans une salle intime et chaleureuse.
Deux jardins entourent le château pour le plus grand plaisir des sens. Le jardin principal est composé d’arbres centenaires, de massifs fleuris et de pelouses. Depuis la terrasse on aperçoit le château d’Essalois et le prieuré de la Presqu’île du Châtelet. Blotti entre la cour et le mur de l’ancien cimetière, le second jardin, joliment fleuri présente des massifs à la Française.