Існуе паданьне пра тое, што па сьмерці Барбары кароль наведаў Мікалая Радзівіла (брата Барбары) у Нясьвіжы, і прывёз з сабой чарадзея, які паабяцаў яму выклікаць дух жонкі ў тым месцы, дзе яны сапраўды кахалі адзін аднаго. Дух быў выкліканы, але кароль сваім каханьнем змог утрымаць Барбару, ня даўшы ёй вярнуцца туды, адкуль яе выклікаў чарадзей. Кароль мусіў вярнуцца паміраць у Нясьвіж, дзе б яны нарэшце сустрэліся. Аднак нечакана ён памёр у Кракаве, і паводле легенды, да нашых дзён дух Чорнай Дамы блукае пакоямі Нясьвіскага замка, у той час як дух Жыгімонта блукае ў Кракаўскім палацы.