amek zbudowany został na wysokim wzniesieniu w XV wieku przez starostę bracławskiego i winnickiego Walentego Aleksandra Kalinowskiego. Była to drewniana budowla obronna z czterema basztami w narożach, otoczona potrójnym murem oraz potrójną suchą fosą. Był obok Jazłowca i Halicza najlepiej umocnioną twierdzą na tatarskim szlaku kuczmańskim i wołoskim. W tym okresie zamek nazywano "Ukraińską Bredą".
  Podczas wojny kozackiej w 1648 roku ich wojska pod dowództwem Krzywonosa i Ganzy zdobyły miasto i zamek. Przebywali w zamku kilka lat aż w 1654 roku wojsko polskie pod dowództwem hetmana wielkiego koronnego Stanisława Rewery Potockiego przystąpiło do szturmu chcąc zdobyć zamek. Lecz broniący się w nim Kozacy pod wodzą Iwana Bohuna odparli wszystkie ataki i Potocki musiał odstąpić od oblężenia. Również powtórne uderzenie Potockiego w styczniu następnego roku nie przyniosło oczekiwanego efektu i znowu musiał się on wycofać.
  W 1702 roku właścicielem majątku zostaje Stanisław Potocki wojewoda bełzki. Za jego tam bytności zamek zostaje odbudowany i umocniony podobnie jak i samo miasto. Umiera w 1732 roku a majątek przechodzi na Franciszka Salezego Potockiego. On rządy nad miastem i zamkiem powierza Rafałowi Deszpot Mładanowiczowi a ten umacnia miasto oraz zamek umieszczając w nim 22 armaty.
  W 1768 roku podczas tzw. "koliszczyzny" została wymordowana cała załoga zamku.