amek zbudowany został w 1560 roku przez wojewodę kujawsko-brzeskiego Rafała Leszczyńskiego herbu Wieniawa. Początkowo była to czterokondygnacyjna, prostokątna wieża mieszkalna o wymiarach 12,5x19 metrów. Po bokach wieży znajdowały się ośmioboczne baszty zakończone strzelnicami. Założenie otaczała fosa z wodą a dookoła były bagna i rozlewiska.

  Z początkiem XVII wieku zamek został rozbudowany przez ówczesnego właściciela Wacława Leszczyńskiego. Powstały wtedy nowe skrzydła. Dwa z nich dobudowano do narożnych wież natomiast trzecie to nowy, piętrowy pałac powstały na planie trapezu. Wewnątrz powstał  dziedziniec z arkadową loggią w części wejściowej. Również wnętrze zamku zostało bogato ozdobione i wyposażone.

  W 1695 roku zamek nabywa rodzina Słuszków. Po nich właścicielami zostają Górowscy, Chlebowscy, Swinarscy, Suchorzewscy. Tak częste zmiany powodują, że budowla chyli się ku ruinie. W połowie XIX wieku zamek kupuje Tytus Działyński a w latach 1875 - 1885 Izabella Czartoryska Działyńska remontuje budowlę. Z pierwotnej, XVI to-wiecznej budowli pozostały tylko trzy trzykondygnacyjne wieże mieszkalne.

  Jednocześnie wokół zamku powstał park w stylu angielskim o powierzchni 160 hektarów.

  Na zamku znajdował się duży zbiór grafik, waz antycznych oraz średniowiecznego rzemiosła. Niestety podczas drugiej wojny zostały one zabrane przez Niemców i wywiezione. Część odzyskano lecz nie powróciły one na zamek w Gołuchowie tylko trafiły do muzeum w Warszawie i Poznaniu.

  W 1960 roku muzeum w Poznaniu przejęło zamek i od tej pory jest on jego filią.