Žemaičių Kalvarijos piliakalnis įrengtas aukštumos kyšulyje, Varduvos dešiniajame krante, santakoje su Pagardeniu (Cedronas). Aikštelė keturkampė, pailga šiaurės – pietų kryptimi, 40×35 m dydžio, 2,5 m žemesniu rytiniu šonu. Jos pietiniame krašte supiltas 35 m ilgio, 2 m aukščio, 28 m pločio pylimas, už kurio iškastas dabar jau užslinkęs griovys. Šlaitai statūs, 12 m aukščio. Piliakalnis apardytas 1637–1639 m. jame įrengiant kalvarijas: aikštelės šiauriniame gale stovi mūrinė 4 stoties koplyčia „Viešpats Jėzus suimamas“, ant pietinio pylimo – medinė 5 stoties koplyčia „Jėzus meldžiasi Alyvų sode“ ir mūrinė Kristaus suėmimo skulptūra. Šiaurinis šlaitas apardytas kelio į koplyčias. Piliakalnis dirvonuoja, vakariniame šlaite auga keli medžiai.