Počátkem 18. století byla původní tvrz přestavěna na barokní čtyřkřídlý zámek, který v letech 1839–1843 získal další přestavbou dnešní empírovou podobu. Ve stejné době byla vystavěna i vyhlídková věž a zahradní sallet a v roce 1852 byl vybudován pseudogotický skleník postavený podle návrhu a plánu Vojtěcha Ignáce Ullmanna. Potomci rodu Silva-Tarouca vlastnili panství až do roku 1945, poté byl zámek zestátněn. V letech 1995–1996 zámek získal nové fasády, interiéry však chátraly dále. V letech 2008–2016 byl areál v několika etapách obnovován, všechny sály byly restaurovány do původní podoby, oranžérie opět dostala podobu upravené ovocné zahrady. Zámek s celým areálem byl slavnostně otevřen 2. dubna 2016 a návštěvníci v něm uvidí také čtrnáct obrazů malíře Josefa Mánesa, který byl jeho častým hostem.
Zvláštní cena OPERA HISTIRICA 2019. Ministerstva pro místní rozvoj. O vítězi rozhodovalo 77 343 hlasujících na portále „kudyznudy.cz“. Cenu udělila ministryně Klára Dostálová panu řediteli vlastivědného muzea v Olomouci Břetislavu Holáskovi a architektonické kanceláři ateliér R, kterou reprezentoval Miroslav Pospíšil.