De verbouwing door S.A. van Lunteren
In 1854 erft kleindochter Benudina Maria van Naamen het landgoed van J.B. van Naamen. Benudina Maria is dan getrouwd met Mr. Herman van Royaards. Zij besluiten wederom tot een uitgebreide verbouwing en geven hiertoe opdracht aan de bekende architect Samuel Adrianus van Lunteren. Alvorens tot verbouwing over te gaan wordt de bestaande situatie door Van Lunteren op schaal opgemeten en ingetekend en ook wordt door hem een nieuw ontwerp voor de tuin gemaakt. Deze tekeningen zijn (grotendeels) bewaard gebleven en (nog) in bezit van de Vereniging Oud-Scherpenzeel. Zij geven een goed beeld van Huize Scherpenzeel zoals dat er uit zag na de verbouwing van 1800.
De ontwerptekening voor de tuin in Engelse Landschapsstijl, een parkachtig landschap waarin doorkijkjes belangrijk zijn, is een fraaie tekening geworden. Het is goed te zien dat de tuin sinds deze tijd nagenoeg onveranderd is gebleven. Huize Scherpenzeel werd verbouwd in neogotische stijl voorzien van decoratieve neo-Tudor elementen.
De verbouwing zou maar liefst 50 jaar in beslag nemen! Juist door deze verbouwing kreeg het Huis weer een meer kasteelachtig aanzien. Door S.A. van Lunteren werden diverse bijgebouwen in de directe omgeving gebouwd: het Koetshuis, een Oranjerie en iets verderweg een theehuis, plaatselijk bekend als ‘het Koepeltje’.