Inicjatorami pałacu była rodzina Radziwiłłów. Historia Pałacu w Rytwianach sięga lat 1853-1855, gdy na terenie dzisiejszego parku została wybudowana cukrownia. Po pożarze w 1924 roku cukrownię rozebrano, a w latach 1927-29 – decyzją księcia Artura – ocalałe z pożaru pomieszczenia magazynowe, przebudowano na pałac letni rodziny Radziwiłłów.

W latach 1927-29 założono również park otaczający pałac. Najstarszy drzewostan, to aleja lipowa w południowej części parku, szpaler kasztanowców wzdłuż granicy zachodniej oraz nieliczne okazy drzew obcego pochodzenia.

W 2012 roku do użytku został oddany nowy hotel o standardzie trzech gwiazdek. Hotel oferuje restaurację dla 130 osób, strefę wodną & SPA (basen, jacuzzi, sala fitness, solarium, saunę such oraz świat masaży).

Na pierwszym piętrze znajduje się zaplecze hotelowe, które swoim gościom oferuje pokoje jednoosobowe, dwuosobowe oraz apartamenty. Cały kompleks otacza przepiękny park z boiskiem do gry w kosza, kortami tenisowymi, chatą grillową i ścieżką zdrowia.