amek zbudowany został w 1102 roku przez księcia mińskiego Borysa Wsiewołodowicza na wyspie leżącej na rzece Berezynie. Była to drewniana budowla powstała na planie okręgu, z basztami obronnymi i otoczona wałem ziemnym i głęboką fosą połączoną z rzeką. Wjazd do zamku był tylko jeden i prowadził przez most. Niedaleko stał kościół, który był z zamkiem połączony podziemnym przejściem.
  W 1128 roku zamek został zdobyty przez Wsiewołoda Olgowicza.
  W 1617 roku zamek był oblegany przez wojsko polskie pod dowództwem hetmana wielkiego litewskiego Jana Karola Chodkiewicza. W tym to bowiem czasie zorganizowana była wyprawa króla Polski Władysława IV na Moskwę w celu zawładnięcia jej tronem. 1200 osobowa załoga zamku przez trzy tygodnie odpierała polskie ataki i zmusiła Polaków do odstąpienia warowni.
  W późniejszym okresie gdy zamek należał do rodziny Ogińskich został przebudowany i w takim stanie przetrwał do XIX wieku. W początku tegoż wieku zamek został zamieniony na dom administracji dóbr Radziwiłłów lecz później po przeniesieniu się ich do Radziwiłłowa zamek niszczał. Zdecydowano więc urządzić w jego miejscu więzienie a część przeznaczyć na koszary.