Żywiecki zamek przechodził później różne koleje, kilkakrotnie zmieniając posiadaczy. Przebudowany w 1721 roku, przez pewien czas należał do Wielopolskich. W XIX wieku objęli go w swoje posiadanie Habsburgowie. Obecnie w gmachu tym mieszczą się instytucje kulturalne Żywca.

  W pobliżu zamku stoi klasycystyczny pałac z XIX wieku, otoczony pięknym parkiem. Warto również zwiedzić kościół parafialny z XV wieku, fundowany przez Komorowskich, pierwotnie gotycki, wielokrotnie przebudowywany, o barokowym wystroju wnętrza.