Pati Norviliškių pilis, vartų bokštas ir gynybinis bokštas kažkada sudarė tipišką uždarą gynybinės pilies sistemą su kompaktišku kiemu centre. Tai retas renesanso laikotarpio tokio pobūdžio komplekso pavyzdys ne tik Lietuvoje, bet ir Europoje.Teigiama, kad pilį seno dvaro vietoje XVII a. pradžioje pastatė turtingas Rytprūsių pirklys Vaitiekus Šorcas, įsimylėjęs ir vedęs vietos grafaitę Daratą Zienovičiūtę. Būtent dėl jos, kaip teigiama pasakojimuose, pirklys bei karys iš Marienburgo ir likęs Didžiojoje Lietuvos Kunigaikštystėje.