Nel 1660 i fratelli Francesco ed Ottavio Bartolini Baldelli portarono a compimento la costruzione di una dimora di stampo cittadino, una Villa Palazzo in stile fiorentino consona ai loro gusti ed usi che di fatto inglobò parte del castello originario (si può ancora vedere una torre ad est, e a nord parte del cassero).
Il nipote, Senatore Francesco Maria assieme alla moglie Maddalena Giraldi, entro il 1710 aggiunse i doppi loggiati affacciati sul giardino e fece edificare una nuova chiesa.
In quegli anni Francesco Maria, che a Firenze era Luogotenente dell’Accademia delle Arti del Disegno dove si incontravano gli artisti più in voga del tempo, decise di condurre a Montozzi il pittore Giovanni Camillo Sagrestani cui fece affrescare la villa e la chiesa, ed il decoratore Giovan Martino Portogalli per gli stucchi.
Inoltre rinnovò gran parte dell’antico castello adibendolo agli usi agricoli di cui la vasta proprietà necessitava: creò le cantine, i magazzini per derrate ed attrezzature, l’orciaia, i laboratori, varie botteghe e la fornace per i laterizi.