Deze statige woning met koetspoort, bijgebouwen en een heus atelier in de tuin ging dienst doen als klooster. Toen op het einde van de jaren tachtig steeds meer leerlingen op school zaten en steeds minder zusters in het klooster werden enkele kleine kamers in gebruik genomen als klaslokaal. In januari 1982 werd beslist om het oude klooster af te breken en een nieuwbouw voor de school op te trekken. De laatste zusters verhuisden naar de Groenstraat, naar de woning van de directeur die leeg stond. De kinderen van de lagere school verwelkomden hen met een lied: “De zusters komen hier leven, ’s morgens, ’s avonds, heel de dag. Ze zullen zich hier niet vervelen, komen op tijd en met een lach. Ze laten de Hoogstraat liggen. De opbouw mag een ander doen. Ze zien ons hier nu spelen, springen en leren doen wij ook heel goed.” In september 1983 was de nieuwbouw klaar: een onthaal, een spreekkamer en een vergaderzaal op het gelijkvloers en drie verdiepingen met telkens twee lokalen.
Toen de zusters ursulinen van Onze-Lieve-Vrouw-Waver in 1914 er mee instemden om de school H. Familie over te nemen, kochten ze een groot herenhuis in de Hoogstraat.