rewniany zamek zbudowany został na przełomie XIII i XIV wieku przez książąt ruskich. Wcześniej był tutaj gród obronny. W 1320 roku Litwini pod wodzą Giedymina oblegali warownię i w końcu ją zdobyli (obrońcy sami poddali zamek po śmierci swojego księcia Włodzimierza w bitwie rozegranej pod murami warowni).
  W 1366 roku zamek wraz z miastem dostaje się w ręce króla polskiego Kazimierza Wielkiego. Postanawia on wzmocnić obronność zamku i zaczyna wznosić budowlę z kamienia. Śmierć monarchy w 1370 roku wykorzystują książęta litewscy, Kiejstut i Lubart, którzy napadają na niedokończoną jeszcze warownię. Ówczesny starosta Pietrasz Turski bez walki poddaje zamek. Książęta niszczą murowaną warownię a pozostawiają drewnianą.
  W następnych wiekach zamek i miasto znacznie ucierpiało od napadów tatarskich (1500 r.), pożarów a także podczas wojny szwedzkiej w 1657 roku.
  Lustracja z 1765 roku tak opisuje zamek: - "zamek na błocie umyślnie juondam sypany, wysoko wkoło wałami osypany; most przez błota drewniany, nadpsuty, brama drewniana o 2 piętrach nowo wybudowana; w l piętrze turmy dla ukarania pospólstwa , na 2m izba z alkierzem alias wieża górna dla szlachty dekretami wskazanych. Po lewej stronie budynek drewniany dla sądów grodź, i kancelarya, nie reparacyi, ale nowego wystawienia potrzebuje; akta są ulokowane u Dominikanów, a zaś ziemskie u fary. Na zamczysku chałup 4, dział żelaznych 2, z których 1 rozerwane, 2gie zardzewiałe; więcej zaś broni ani amunicyi nie dopytaliśmy się; wały miejscami opadłe i osypane, fosy i znaku nie ma, gdyż zamulona. Wedle miasta fossa yuondam bywała i wały od rzeki Smoczy do rzeki Ługu, które na plantę ogrodu przez proboszcza są zniesione, a fossa penitus zdezolowana. A że zamczysko lubo zrujnowane, podobne jednak ma miejsce do jakiejkolwiek obrony i schronienia się, a bardziej obywatele Wtwa za największą dla siebie poczytują krzywdę, że akta na których całość substancyi i honorów polega, bespiecznej nie mają lokacyi, oraz że sądowi honestum nie mają locum, i gdy sądzą niebespieczeństwa obawiać się muszą, aby izba nieobaliła się; przeto podajemy: aby Rplita widząc potrzebę zamku, reparacyą wprędce obyśliła." 
  Niestety Rzeczpospolita reperacji nie obmyśliła bo w lustracji z 1789 roku tak możemy przeczytać: - "Plac zamku bez żadnego zabudowania, budynek drewniany od lat kilku rozebrany, atak juryzdykcye grodzkie i ziemskie, raz w klasztorach, drugi raz po dworkach i domach zajeznych sądy odprawują."
  Po zamku pozostały tylko wały ziemne.