amek zbudowany został, na szczycie góry Żar / obecnie zwanej Włodkowa/ przez księcia oświęcimskiego Jana Scholastyka w połowie XIV wieku.
   Zamek postawiony na planie owalu o wymiarach 20 x 60 metrów,  zbudowany z miejscowego piaskowca otaczały podwójne wały ziemne i sucha fosa.
   Około 1430 roku zamek jako dziedziczne lenno otrzymuje  od księcia oświęcimskiego Kazimierza Mszczugij Skrzyński jako zabezpieczenie dla pożyczki, którą księciu udzielił. Jej wysokość to 3000 czerwonych złotych węgierskich.
   W 1440 roku właścicielem ziem i zamku zostaje Władysław Warneńczyk, który stopniowo chce włączyć księstwo oświęcimskie w ziemie polskie. Jednakże, do chwili spłacenia długu na zamku pozostaje Mszczugij Skrzyński. W 1447 roku nowym właścicielem jest Włodek Skrzyński, krewny Mszczugija, który spłacił mu zaległy dług książęcy. W tym czasie był on także właścicielem zamku na Wołku. Ponieważ trudnił się on rozbojem, w 1452 roku ówczesny król Polski Kazimierz Jagiellończyk zleca podkomorzemu krakowskiemu Piotrowi Szafrańcowi, właścicielowi Pieskowej Skały rozprawienie się ze Skrzyńskim. Szafraniec zdobywa barwałdzki zamek. W 1467 roku zamek dostaje w dziedziczne władanie od Kazimierza Jagiellończyka Piotr Komorowski. Po jego śmierci zamek należy do jego syna Jana. Ponieważ jest on jeszcze niepełnoletni dobrami zarządza stryjeczny brat jego ojca Mikołaj Komorowski. Ten popada w konflikt z królem Polski Kazimierzem Jagiellończykiem.  W rękach Komorowskich były zamki graniczne w Szaflarach, na Grojcu koło Żywca i na Włodkowej /góra Żar/ zachodziła więc obawa, że zostaną one wydane Maciejowi Korwinowi, królowi Węgier, który w tym czasie planował napaść na Polskę. Dlatego też Kazimierz Jagiellończyk nakazał Jakubowi z Dębna - staroście oświęcimskiemu, zburzenie tychże warowni. W 1477 roku, w przeciągu siedmiu tygodni Dębiński wykonał królewski rozkaz niszcząc te zamki.
   Obecnie widoczne są niewielkie fragmenty fundamentów murów, wałów i fos.