amek zbudowany został prawdopodobnie w XIV wieku bowiem pierwsze wzmianki o tej miejscowości pochodzą z 1388 roku. Wtedy to bowiem ówcześni jej właściciele Marcin i Mikołaj z Baruchowa herbu Doliwa sprzedali majątek wraz z zamkiem Gniewoszowi z Dalewic. Następnie jeszcze kilkakrotnie zmieniali się właściciele zamku aż w  około 1480 roku nabył go Jakub Szydłowiecki. On też rozbudował stary zamek. Po smierci Jakuba dobra przeszły w ręce jego przyrodniego brata Mikołaja a następnie dostały się Krzysztofowi Szydłowieckiemu - kanclerzowi wielkiemu koronnemu i kasztelanowi krakowskiemu.
Za jego tam bytności zamek został przebudowany w latach 1519 - 1523 w stylu renesansowym na wspaniałą magnacką rezydencję. 
 Zamek znajdował się na małej wysepce graniczącej z jednej strony z bagnami a pozostałe strony od lądu oddzielała fosa z wodą. W skład zamku wchodziły dwa budynki mieszkalne od strony wschodniej i zachodniej, które połączone były basztą gdzie znajdowała się kaplica zamkowa oraz przedzamcze z wieżą bramną wraz z budynkami gospodarczymi zbudowanymi na planie litery "U". Wjazd prowadził od strony południowej. 
   Spis sporządzony w 1557 roku tak nam opisuje kaplicę: "...ołtarzów było trzy, a na nich obrazy wielkim kosztem sprawione" poza tym kilka ornatów złotogłowiowych z herbami króli i Szydłowieckiego, trzy kielich pozłociste "szubtelne włoszkiey robothy z kamyeniami i perłami" itd.
  W XVII wieku wzmocniono obronność zamku stawiając cztery narożne bastiony.
  Po rodzinie Szydłowieckich majątek wraz z zamkiem przechodzi drogą spadku w ręce Tarnowskich, Radziwiłłów, Zborowskich, Ostrogskich, Zasławskich, Wiśniowieckich i Lubomirskich. Od nich dzierżawi go Jan Małachowski kanclerz wielki koronny aby w 1753 roku ostatecznie go kupić.
  W 1830 roku nowymi właścicielami zostaje rodzina Druckich – Lubeckich.
  Zamek podczas całego swojego istnienia kilkakrotnie był zdobywany i niszczony. Tak było podczas wojen szwedzkich  (1657, 1702) jak i najazdu Rakoczego. A i niektórzy sami właściciele niezbyt o niego dbali.
  W 1702 roku zamek zostaje częściowo rozebrany a w 1800 roku przedzamcze zostaje przebudowane na browar a sto lat później na łaźnie. Trzykondygnacyjna wieża bramna w końcu XIX i początkach XX wieku służyła za mieszkanie dla biedoty. Podczas drugiej wojny światowej w wieży mieścił się niemiecki szpital.
  Do dzisiaj z dawnej świetnej rezydencji magnackiej pozostały tylko resztki budynków mieszkalnych, część kaplicy zamkowej a na przedzamczu wieża bramna i budynek gospodarczy.