Národná kultúrna pamiatka vyhlásená v roku 1963. Na mieste dnešného kaštieľa stál paulínsky Kláštor svätého Jána, ktorý v roku 1369 založil Michal Elefant. V roku 1636 bol opevnený. Upravovaný bol v roku 1687. Neskorobarokovo prestavaný na kaštieľ v roku 1774, kedy bolo nadstavané druhé podlažie. Po zrušení kláštorov v roku 1836 budovu odkúpil František Gyulaya a v roku 1894 ju prebudoval na monumentálne šľachtické vidiecke sídlo v historizujúcom slohu. Upravovaný bol v 2.polovici 20.storočia. Má dvoj a trojtraktovú dispozíciu, pôdorys v tvare obráteného L, je dvojpodlažný s podpivničením. V interiéri sa nachádza cyklus fresiek od J. Bergla z roku 1775. Solitér sa nachádza v anglickom parku v strede obce Horné Lefantovce 2 pri kostole. Dnes je v ňom obecný úrad.
