amek w Ryczowie powstał prawdopodobnie za czasów panowania Kazimierza Wielkiego. Była to kamienna wieża postawiona na skale o wymiarach 10 x 14 metrów i stanowiła główną część założenia obronnego. Dojście do wieży prowadziło po drewnianym pomoście usytuowanym po stronie wschodniej. Do dzisiaj widoczne są wycięcia w skale po dawnej konstrukcji. U podnóża skały znajdował się dziedziniec gospodarczy z drewnianymi budynkami. Całość otoczona była podwójną linią wałów obronnych. Wewnętrzny wał to drewniana palisada otaczająca zamek dolny natomiast zewnętrzna to wał ziemny umocniony kamieniami oraz  fosy o głębokości ok. 5 metrów i szerokości dochodzącej do 8,5 metra. Wjazd do zamku prowadził przez drewniany most i bramę a znajdował się w północnej części wału obronnego.
  Nie wiadomo dlaczego warownia została opuszczona i jak doszło do jej zniszczenia. Zakłada się, że miało to miejsce w XV wieku i było następstwem zbrojnego najazdu. Badania archeologiczne nie potwierdzają hipotezy o wysadzeniu zamku w powietrze.
   Do dzisiaj zachowały się na skale, nieduże fragmenty murów wieży oraz półtorametrowy wał ziemny otaczający skałę.