Z pojawieniem się Czerwonego Upiora wiąże się też piękne średniowieczne podanie o srogim kasztelanie imieniem Jan. Panu temu - bezlitośnie gnębiącemu swych ukazał się w czasie uczty Czerwony Upiór, a kasztelan tak bardzo przeraził się widokiem niesamowitego gościa, że uwolnił wszystkich więźniów, rozdał swe skarby ubogim i resztę dni spędził na spełnianiu dobrych uczynków, postach i modłach. Gdy zmarł, rzeźbę przedstawiającą jego głowę wmurowano w ścianę komnaty rycerskiej.   Minęły lata i na Grodźcu zasiadł wnuk i imiennik Jana, równie okrutny jak w młodości jego dziad. Pewnego dnia sprawował w komnacie rycerskiej sądy nad poddanymi, którzy nie zapłacili należnej mu daniny. Właśnie na jego rozkaz pachołkowie mieli wrzucić do głodowego lochu jakiegoś biedaka, gdy nagle z ust kamiennej głowy kasztelana Jana posypały się dukaty. Wydarzenie to wstrząsnęło chciwym panem tak bardzo, jak niegdyś pojawienie się Czerwonego Upiora jego dziadom. Uwolnił niewinnie skazanych i zezwolił swej córce Agnieszce na ślub z książęcym drużynnikiem, Janoszą. Dobra swe przekazał młodej parze wierząc, ze będą nimi rządzili lepiej i sprawiedliwiej.   Trzy wczesnorenesansowe rzeźby głów: młodej kobiety, rycerza w hełmie i starszego mężczyzny z otwartymi ustami, przypominają dziś o tym niezwykłym wydarzeniu.