Як і всі середньовічні
фортеці України, Свірзький замок оповитий купою таємниць та легенд. За однією з них, колись давно, в замку працювала служницею молода, красива дівчина. Їй не пощастило закохатися в басурмана та, під дією любовних чар, розповісти йому, як відкрити ворота замку. Підступний коханець, разом з власним військом, проник до замку та захопив його, а закохану дівчину скинули у глибокий колодязь. З того самого часу привид молодої дівчини бродить замком, не маючи сну та спокою.
Правда це чи ні, але, вже давно занедбаний колодязь, до сих пір стоїть на території замку.
За ще однією версією цієї легенди, на місці дівчини-зрадниці був юнак. Хлопець закохався в дочку загарбника та впустив ворожих воїнів до фортеці. Щоправда, за це юнака не втопили в колодязі, а закопали живцем у землю. Де саме закопали, на території замку або за його межами, про це легенда замовчує.