比尔扎伊城堡最初由克里斯图帕斯·拉德维拉公爵于 16 世纪后期建造，在 1980 年代进行了大规模修复，曾两次被毁。其巨大的白色堡垒从人造湖 Širvėnait 直射天空，是比尔扎伊公爵的所在地，并在与瑞典的两次战争中处于前线。主要的城堡和军火库展示了当地野生动物、民族志、军事历史以及城堡、公国和拉德维拉斯家族的故事。