Po śmierci Izabeli Lubomirskiej, w 1816 roku, pałac miał jeszcze wielu właścicieli. Początkowo należał do Potockich, następnie do Anny z Tyszkiewiczów Potockiej. To ona zleciła Henrykowi Marconiemu przebudowę pałacyku w stylu neogotyckim, którą wykonano w latach 1822-1825. Przeobrażeniom uległy wnętrza oraz elewacje zewnętrzne budynku, a wokół niego powstały liczne zabudowania gospodarcze. W roku 1845 pałac trafił w posiadanie Franciszka Szustra (stąd też jego dzisiejsza nazwa), który zlecił Marconiemu kolejną przebudowę. Budynek zyskał wtedy mały taras po południowej stronie oraz dwukondygnacyjną, ośmiokątną wieżyczkę przy elewacji wschodniej. Ponadto dobudowano dwie oficyny: pierwszą w latach 1828-1829, drugą w latach 1860-1865. Kolejna przebudowa, tym razem neorenesansowa, nastąpiła w 1852 dzięki Adamowi Idźkowskiemu. Ostatnim spadkobiercą z rodziny Szustrów był Tadeusz Maciej Szuster, który zmarł 1973 roku.
Pałac był wielokrotnie dewastowany. Najpierw przez Rosjan w czasie powstania listopadowego, kiedy to zniszczeniom uległ też otaczający go parkowy drzewostan. Prace rewaloryzacyjne podjęto w 1832 roku, czyli jeszcze przed przejęciem pałacu przez Szustra. Kolejne dwa zniszczenia nastąpiły podczas niemieckiej okupacji w 1939 i 1944 roku, kiedy to pałac doszczętnie spłonął, a park został prawie całościowo wycięty. Powojenną odbudową zajęto się w latach 1962-1965. Park został odnowiony, a pałac odbudowany w stylu neogotyckim według projektu Jerzego Brabandera, któremu zawdzięczamy jego dzisiejszy wygląd.
Budynek został wpisany do rejestru zabytków 1 lipca 1965 r.
Po odbudowie w pałacu mieścił się urząd stanu cywilnego. Obecnie jest siedzibą Warszawskiego Towarzystwa Muzycznego im. Stanisława Moniuszki.
Na terenie Górnego Ogrodu, na zlecenie Szustrów w 1899 roku zbudowano grobową kaplicę. Projektantem rodowego mauzoleum był arch. Wincenty Rakiewicz. W 1900 roku pochowano w nim żonę właściciela Rozalię z Pieszczyńskich primo voto Viver, secundo voto Szuster, a w 1901 roku samego Franciszka Szustra. We wnętrzu znajdował się drewniany krzyż z kościaną figurą Chrystusa i marmurowy ołtarz. Posiadłość odziedziczył brat Franciszka Antoni, a następnie jego syn Aleksander. W latach 20. XX wieku na skarpie nad kaplicą powstały dwa domy mieszkalne. W grobowcu w 1941 roku spoczął jeszcze syn Aleksandra Szustra - Franciszek. Po 1945 roku kaplica została zdewastowana. Ostatni z rodu, Tadeusz Szuster przed śmiercią w 1973 roku doprowadził do przeniesienia szczątków krewnych na cmentarz powązkowski. W latach 70. i 80. XX wieku prowadzono przy obiekcie doraźne prace remontowe a w 2004 roku kaplica została odrestaurowana.
Jeżeli pomogłam lub zaciekawiłam proszę polub mnie na FB
