Po powrocie z tureckiej niewoli, zafascynowany tamtejszą kulturą, zbudował go w miejscowości Grabki Duże kasztelan małogoski Stanisław Rupniewski. O jego przeznaczeniu krążyły legendy – do dziś obiekt nazywany jest „haremem”.

Latami okoliczni mieszkańcy przekazywali sobie plotki, że kasztelan Rupniewski w czasie dwudziestoletniej niewoli przeszedł na islam, a w swojej posiadłości, ku zgorszeniu całej okolicy, próbował przeszczepiać na grunt polski turecką kulturę i obyczaje, tworząc w pałacu harem. Trudno dziś zweryfikować, ile jest prawdy w tych opowieściach.

Od początku lat 90. pałacyk jest własnością prywatną i można go podziwiać tylko z zewnątrz. Niewątpliwie jest dość zaskakującym, orientalnym akcentem na ziemi świętokrzyskiej.

Pałacyk został zaprojektowany przez włoskiego architekta Franciszka Placidiego. Powstał w 1742 roku. Zbudowano go na planie ośmioboku, z dużą salą na parterze oraz licznymi małymi pokoikami na obydwu kondygnacjach. Obok budynku głównego znajduje się herbaciarnia i pawilon do modlitwy.

Po II wojnie światowej pałac został odbudowany. W okresie PRL-u już nie wzbudzał takich kontrowersji jak w XVIII wieku, bo mieściła się tam siedziba Wojewódzkiego Ośrodka Doskonalenia. Obiekt służył celom społecznie użytecznym – prowadzono tam szkolenia.