Greta pilies yra senas, jau sulaukėjęs parkas (15,62 ha) su 5 kaskadiniais tvenkiniais. Jis labai nuniokotas, pokario laikais iškirtus šimtametes liepas ir kitus medžius.Iš pradžių pilis vadinosi Panemunės vardu pagal dvarą, kurio žemėse pastatyta. Vėliau ją perėmus Gelgaudams, ji vadinta Gelgaudų pilimi. Po 1831 m. sukilimo pasikeitus savininkams prigijo Zamkaus vardas. XX a. pradžioje netoliese įsikūrus Vytėnų kaimui, pradėta vadinti Vytėnų pilimi. Šiuo metu vėl vadinama pirminiu savo vardu.