Idućih dvjesta godina utvrda je propadala, da bi ju pred kraj 18. stoljeća Regina Drašković u potpunosti srušila i na njenom mjestu izgradila barokni dvorac Stubički Golubovec.
Kao ostali vlasnici, kroz povijest se, osim Regine, pojavljuju obitelj Domjanić te zagrebački biskup Maksimilijan Vrhovac, ujedno i osnivač zagrebačkog perivoja Maksimir. On je uz manje popravke na dvorcu izgradio nove gospodarske zgrade, mlin i staju, a tada su započeti i radovi na okolnom perivoju od 1819. do 1825. godine. U tom vremenu je posađeno više od 330 sadnica drveća za perivoj, 240 mladih voćaka, a uređeno je i nekoliko ribnjaka te cvjetnjak.
Biskup je dvorac oporučno ostavio svojoj nećakinji Ani Sermage, a nakon njezine smrti vlastelinstvo je pripalo njezinoj kćeri, supruzi hrvatskog bana Levina Raucha de Nyeka. Njihova se pak kći udala za baruna Christiana Steeba 1877. godine te je ta obitelj postala vlasnikom dvorca sve do kraja Drugog svjetskog rata.
Vrijedi spomenuti kako je za vrijeme Rauchovih bilo doba najvećeg procvata i dvorca i ovog kraja. Naime, nakon potresa 1880. godine, obitelj je obnovila dvorac i napravili su znatne promjene oko njega, poput proširenja perivoja, postavljanja osmerokutnog paviljona unutar istoga, premještanja gospodarskih zgrada te zamjene prozora, podova i kalijevih peći, koje su i danas očuvane te se nalaze unutar glavne dvorske dvorane. Ujedno su i zatvorili dotadašnji pristup dvorcu sa sjevera i otvorili put sa zapada, odnosno preko mosta iznad novoizgrađenih jezera, koji i danas postoji.
Poslije Drugog svjetskog rata u dvorcu je bilo smještena nekoliko novih korisnika, poput niže partijske škole i dječjeg doma, a kasnije su njime upravljali šumarija i peradarska farma. Od 1969. do 1978. godine bio je dodijeljen Povijesnom muzeju Hrvatske, da bi kasnije ovdje bila premještena kajkavska knjižnica. Od 1989. godine, pa sve do današnjih dana, u dvorcu se nalazi 'Kajkaviana', društvo koje se brine o prikupljanju, čuvanju i promicanju hrvatske kajkavske baštine.
Inače, prema arhitektonskim obilježjima, ovaj kasnobarokni dvorac je trokrilan i u obliku slova U. Bočna krila su mu kraća i uža od glavnog krila, dok se u jugozapadnom bočnom krilu nalazi dvorska kapelica, što se može primijetiti i po tornju s križem iznad tog dijela građevine. Iznad ulaza s dvorišne strane dvorca smješten je neorenesansni portal, dok se perivoj dijeli na dvije cjeline, onaj oko dvorca i na park-šumu. Stubički Golubovec se nalazi na samom izlazu iz Donje Stubice, ako se dolazi iz smjera Stubičkih Toplica, a na skretanju za cestu koja vodi izravno do njega postoji i smeđa turistička signalizacija.