Národná kultúrna pamiatka Kaštieľ s areálom vyhlásená v roku 1963. Tvoria ju viaceré pamiatkové objekty:
Kaštieľ. Renesančný objekt stojí v strede mesta a patrí medzi najvýznamnejšie a najpôsobivejšie feudálne sídla na Slovensku. Postavili ho Turzovci na mieste staršieho gotického vodného hradu, chráneného vodnou priekopou, v rokoch 1571-1574. Pôvodný stredoveký menší hrad (obytná veža s dvorcom) z 13.storočia patril nitrianskemu biskupstvu. V roku 1454 sa objekt spomína ako fortalicium Byche, v roku 1466 ako castellum Byche. Od roku 1563 hrad a bytčianske panstvo patrili Františkovi Turzovi, členovi významnej podnikateľskej rodiny. Turzovci postavili poschodový, štvorkrídlový kaštieľ so štyrmi nárožnými okrúhlymi vežami, ústrednou vstupnou vežou a arkádovým nádvorím. Stavba kaštieľa pochádza od staviteľa J. Kiliána z Milána, jeho postava je zvečnená na freske v prízemí na kruhovom schodisku. Nádvorie kaštieľa, do ktorého sa vstupuje masívnym portálom pod vežou, má dvojposchodové arkády a na stenách prvého poschodia sú početné nástenné maľby, fresky antických hrdinov a niektorých vojvodcov. V kaštieli sú zaujímavé aj klenby, kozuby, komín s plastickou výzdobou. V otcovej činnosti pokračoval syn Juraj Turzo, ktorý za aktívnu účasť v boji proti Turkom získal popredné miesto na cisárskom dvore. Upravovaný bol v rokoch 1585. V rokoch 1605-1612, po ničivom vpáde hajdúskych vojsk, kaštieľ a sobášny palác opravil ďalší taliansky majster A. Pocabello. Pri týchto úpravách postavili aj arkádu v nádvorí ústrednej budovy, ktorou prekryli staré fresky z obdobia vzniku kaštieľa. Kaštieľ bol upravovaný i po roku 1722 a koncom 19.storočia. Stavba má štvorkrídlový uzatvorený pôdorys, dvojtraktovú dispozíciu. Turzovci kaštieľ vlastnili a zveľaďovali do roku 1624, kedy ich rod vymrel. Turzovci zriadili v meste knižnicu a mali tu aj klenotnicu so zbierkou vzácnych gobelínov. Odvtedy až do polovice 19.storočia objekt mali v rukách Esterháziovci. Tí využívali kaštieľ skôr na hospodárske účely, jeho vzhľad obohatili iba v roku 1736 cyklom postáv v arkáde, fresky znázorňujú v nadživotnej veľkosti uhorských a európskych panovníkov a známych vojvodcov i hrdinov z antickej mytológie. V roku 1611 sa tu konal aj pamätný súd s posluhovačmi Alžbety Bátoriovej. V rokoch 1708-1711 bol v kaštieli v službách cisárskeho vojska Juraj Jánošík. V roku 1862 panstvo s majetkom odkúpila obchodnícka rodina Popperovcov, ktorá uskutočnila nevhodné úpravy, vlastný kaštieľ prebudovala na byty, sobášny palác na okresný súd. Takzvanú klasicistickú budovu, ktorá vznikla okolo roku 1830 prestavbou renesančnej budovy, funkčne pričlenili k okresnému súdu a slúžila aj účelom obce. V roku 1904 kaštieľ, kostol i mesto zničil veľký požiar. S realizáciou pamiatkovej obnovy sa začalo po roku 1960. Solitér č.3, v súčasnosti štátny archív, stojí v Pamiatkovej zóne na južnej strane nádvoria.
Sobášny palác.
Meštiansky dom. Novorenesančný meštiansky dom bol postavený v rokoch 1571-1574. Upravovaný bol v 17. a 18.storočí, pred rokom 1900 a v 20.storočí. Má obdĺžnikový pôdorys, viacpriestorovú dispozíciu, je dvojpodlažný s podkrovím a pivnicou. Vstupná budova č.4 stojí v areáli kaštieľa v Pamiatkovej zóne na ulici S. Sakalovej.
Hradbový múr. Okolo kaštieľa stojí kamenný renesančný obranný múr vybudovaný na prelome 16. a 17.storočia. Upravovaný bol koncom 19.storočia a v rokoch 2002 a 2003. Má štvorcový pôdorys.
Park.
Budova. Dnes klasicistická budova bola postavená v rokoch 1571-1574. Upravovaná bola v 2.štvrtine 17.storočia, začiatkom 19. a v 3.štvrtine 19.storočia, po roku 1904 a pred rokom 1936. Má obdĺžnikový pôdorys a je trojpodlažná. Budova č.2 stojí v areáli kaštieľa v Pamiatkovej zóne na severnej strane nádvoria. Dnes je v nej Základná umelecká škola.