amienny zamek zbudowany został w XIV wieku a jego budowniczym był prawdopodobnie kasztelan radomski Otto z Pilczy herbu Topór. Budowla składała się z zamku górnego, stojącego na wysokim wzniesieniu i zamku dolnego obejmującego podzamcze.
  Zamek górny to dom mieszkalny oraz wysoka, okrągła kamienna wieża dochodząca do 7,5 metra średnicy. Całość otaczał kamienny mur obronny postawiony na krawędzi skał. Wejście do zamku prowadziło przez niewielką bramę w murze a wcześniej trzeba było pokonać drewniane schody, które do niej prowadziły.
   Zamek dolny to początkowo podzamcze wschodnie w kształcie pięcioboku, otoczone murem, grubości dwóch metrów. Mieściło się tam zaplecze gospodarcze zamku. Wjazd prowadził przez bramę w murze, na którym umieszczony był ganek dla straży. W wieku XVI do istniejącego założenia dobudowano od strony zachodniej drugie podzamcze, również otoczone murem. Znajdowały się tam zabudowania gospodarcze i mieszkalne. Podzamcze to posiadało osobną bramę wjazdową. Na jego dziedzińcu znajduje się głęboka 200 - tu metrowa studnia, wykuta przez tatarskich jeńców.
    Początkowo zamek należał do rodu Toporczyków, którzy później zmienili nazwisko na Pileccy. Następnie zakupił warownię Seweryn Boner, bankier krakowski i z tego okresu pochodzi drugie, dobudowane podzamcze. Kolejnymi właścicielami byli biskup krakowski Filip Padniewski oraz Wojciech Padniewski jego bratanek. Ten ostatni wybudował w niedalekiej Pilicy warowną rezydencję i tam zamieszkał a zamek pozostał opuszczony. Czasy szwedzkiego najazdu w 1655 roku przyniosły zniszczenie zamku, który ograbiony i spalony pozostał ruiną dostarczającą materiał budowlany.
    Obecnie możemy oglądać: kamienną wieżę i mury zamku górnego, mury obronne podzamczy, bramy wjazdowe a także fundamenty budynków oraz studnię.