udowę zamku rozpoczęto pod koniec XIII wieku i trwała ona  prawie do połowy XIV wieku. Była to budowla założona na planie kwadratu z czterema skrzydłami mieszkalnymi z kwadratowymi wieżami w narożach, wieżą główną, wieżą studzienną, gdaniskiem a całość otoczono murem obronnym. Pierwsze skrzydło jakie wybudowano to wschodnie, pięciokondygnacyjne sąsiadujące z istniejącym już kościołem. W latach 1320 - 1355 w miejsce kościoła postawiono katedrę. Następne było skrzydło południowe. Ono z kolei przylegało do wysokiej prawie 60-cio metrowej wieży. Następne skrzydło to zachodnie mieszczące w sobie pomieszczenia gospodarcze i ostatnie północne powstałe około 1350 roku z kaplicą i refektarzem. W późniejszym okresie zbudowano w części północnej wieżę, której zadaniem była obrona mostu zwodzonego a także w jej wnętrzu znajdowała się studnia. Od strony zachodniej powstała w odległości około 50 metrów wieża zawierająca ustęp tzw. gdanisko lub dansker. Z zamkiem łączył ją kryty korytarz wsparty na arkadach. Od strony wewnętrznej dziedziniec ozdabiały krużganki.
  Po północnej stronie zamku powstało przedzamcze bronione murem obronnym a od zamku oddzielone fosą. Przez nie prowadził wjazd do zamku głównego. Natomiast zamkowe mury od strony południowo - zachodniej połączone były z murami miejskimi.
  Podczas swojego istnienia zamek kilkakrotnie był oblegany, zdobywany i w większym lub mniejszym stopniu niszczony. W 1410 roku przebywał w nim król Polski Władysław Jagiełło. W latach 1478 - 1479 podczas tzw. wojny księżej *) zamek został zdobyty przez polskie oddziały stacjonujące  w Malborku i częściowo uszkodzony. Później w 1520 roku podczas wojny polsko - krzyżackiej wojska polskie ponownie zdobyły zamek. Został on i tym razem poważnie uszkodzony i w następnych latach przystąpiono do jego remontu wykorzystując do niego między innymi cegieł ze starego zamku.
  Lata gdy zamek był pod panowaniem pruskim (od 1772roku) to zmiana przeznaczenia budowli oraz częściowa jej rozbiórka. Mieścił się w niej teraz sąd i więzienie a w 1798 roku rozebrano skrzydło południowe. Jednakże za czasów Fryderyka Wilhelma IV postanowiono odremontować zamek i przywrócić mu gotycki wygląd. 
  Podczas drugiej wojny światowej na zamku mieściła się szkoła dla niemieckiej młodzieży a po wojnie założenie przeszło w ręce Ministerstwa Kultury i Sztuki.
  Obecnie z dawnego zamku pozostały tylko dwa skrzydła północne i zachodnie z dwukondygnacyjnymi krużgankami, trzy narożne wieże, wieża studzienna oraz gdanisko.
  W dniu dzisiejszym na zamku ma swoją siedzibę oddział Muzeum Zamkowego w Malborku.
______________
*) 13 marca 1440 roku powstał tzw. Związek Pruski, którego celem była obrona przed bezprawiem i naruszaniem przywilejów przez zakon. Do Związku należały poszczególne miasta pruskie jak i stan rycerski. Ustalili oni, że oddają Prusy pod panowanie króla polskiego. Wynikiem takiej decyzji był wybuch wojny trzynastoletniej (1454 - 1466). Po pokoju toruńskim w 1466 roku Kwidzyń został w rękach zakonu krzyżackiego jednak na biskupa pomezańskiego wybrano Polaka Wincentego Kiełbasę. Po jego śmierci nastał spór o wybór jego następcy i on to doprowadził do wybuchu wojny zwanej księżą..