De laatste bewoners
Anton Royaards erfde het Huis in 1898 en was met zijn vrouw Margaretha Maria Backer de laatste bewoner van Huize Scherpenzeel. Anton werd in 1900 burgemeester van Scherpenzeel.
Uit het eerste kwart van de 20e eeuw zijn veel foto’s van Huize Scherpenzeel bewaard gebleven. Van het 25-jarig jubileum van Anton Royaards als burgemeester is een heel fraaie groepsfoto bekend, genomen voor Huize Scherpenzeel. Anton Royaards overlijdt in 1932. Zijn vrouw Margaretha Backer overlijdt in 1956 en daarna is het Huis niet meer bewoond geweest. Twee dochters erfden het Huis, maar zij hebben er nimmer gewoond.
In de oorlogsjaren, na de verwoesting van Scherpenzeel (het Huis liep wonderwel geen schade op) heeft het Huis ondermeer als vervangende woonruimte gediend, als gemeentehuis, postkantoor en als kantoor van de Grebbecommissie en Wederopbouw. In 1943 wordt het Huis gevorderd door de Duitsers en na de bevrijding hebben respectievelijk de Engelsen en de Binnenlandse Strijdkrachten er hun intrek in genomen. Door al deze bestemmingen heeft het Huis en de bijgebouwen zwaar te lijden gehad.
In de 60-er jaren heeft het Huis enige tijd als jongensinternaat (het ‘instituut van Heusden’) dienst gedaan. In de beginjaren 70 werden er enkele klassen van de Lagere School in gevestigd. Onderhoud werd er niet meer gepleegd. Het Huis kwam vervolgens leeg te staan en vocht, verval en vandalisme namen hun intrek in het Huis.


