amek zbudowany został z końcem XIV lub na początku XV wieku (podawane są dwie daty: 1392 i 1405 r) przez zakon krzyżacki. Budowla stanęła na wysokim brzegu rzeki Niewiaży i w tym czasie nosiła nazwę Königsburg lub Rothenburg. Wybudowano ją na planie czworoboku, posiadała dwukondygnacyjny budynek mieszkalny, wysoką, okrągłą wieżę a broniły jej umocnienia ziemne i fosy. Grubość murów budynków wynosiła ok. 1,5 m. Zamek był siedzibą krzyżackiego wójta żmudzkiego Michała Kuchmeistera, który później został Wielkim Mistrzem Zakonu.
  Po pokoju toruńskim w 1411 roku zamek przeszedł w ręce polskie i był własnością królewską. 
  W 1549 roku król Polski Zygmunt August nadał ziemie wraz z zamkiem Barbarze Radziwiłłównie.
  W wieku XVI zamkiem władała rodzina Gintowt - Dziewałtowskich. Wtedy to przebudowano starą gotycką warownię na renesansową i ona to dotrwała do naszych czasów.
  Kolejnymi właścicielami budowli byli: hetman Janusz Radziwiłł, po nim Bogusław Radziwiłł a następnie rodzina Tyszkiewiczów. Po pożarze jaki wybuchł na zamku Tyszkiewicze odrestaurowali go w latach 1834 -1840 w stylu neogotyckim. Powstały także nowe budynki mieszkalne i gospodarcze a także powiększony został zamkowy park.
  Podczas drugiej wojny światowej zamek uległ zniszczeniu lecz w latach 1962 - 1975 został odbudowany.