Van woontoren tot woonhuis

Langzaamaan veranderde de woontoren meer en meer tot een woonhuis. Nadat in 1636 de laatste Heer van Scherpenzeel (Willem) was overleden kwam het Huis in handen van het geslacht Westerholt. Een halfzuster van Willem: Aleyd, Vrouwe van Scherpenzeel, was getrouwd met Hendrik van Westerholt. Tot aan 1793 zou de Heerlijkheid Scherpenzeel eigendom van het geslacht Van Westerholt blijven en zij hebben het bezit stevig uitgebreid. Niet alleen met grondgebied, waaronder ook grote delen van het dorp, maar ook het Huis zelf werd uitgebreid. Verder bezaten de Westerholts (zelf katholiek) het Patronaatsrecht: het recht om een dominee naar hun keuze te benoemen