Zvolenský zámok dal postaviť uhorský kráľ Ľudovít z Anjou v poslednej tretine 14. storočia na mieste staršej kúrie. Pôvodne slúžil ako občasné sídlo dvora a od roku 1424 patril uhorským kráľovnám.
Bol jeden z mála gotických hradov určených predovšetkým na komfortné bývanie s minimálnym strategickým či obranným významom, keďže sa v období svojho vzniku nachádzal v bezpečnom vnútrozemí Uhorska.
Stavba patrí medzi tzv. kastelové hrady. Pravidelný obdĺžnikový pôdorys má štyri dvojpodlažné krídla zoskupené okolo ústredného nádvoria. Palác bol rozčlenený dvojicou veží na západnej strane a kaplnkou, ktorá na východnej strane prevyšovala obytné krídlo. Celý komplex uzatvárala obvodová hradba. Vstup do hradu – orientovaný k mestu – viedol cez prejazd do nádvoria. Prízemie hradu slúžilo prevažne na hospodárske a skladovacie účely. Obytné a reprezentačné priestory boli sústredené na prvom poschodí okolo objektu hradnej kaplnky.
Na prelome 15. a 16. storočia bol hrad prvýkrát prestavaný. Vtedy vybudovali nové vonkajšie opevnenie s vežovou vstupnou bránou a nárožnými baštami a tiež bola vytvorená maliarska výzdoba kráľovskej dvorany. V 1. polovici 16. storočia sa sa v dôsledku ohrozenia z Osmanskej ríše pristúpilo k renesančnej prestavbe zámku. Od roku 1575 tu sídlila stála vojenská posádka na čele so zvolenskými županmi. Počas prestavby bol objekt nadstavený o ďalšie dve podlažia s nárožnými vežičkami a strieľňami po celom obvode vonkajších stien a veľkou strieľňou pre delá na severnej fasáde. Turci však Zvolenský zámok ani mesto nikdy nedobyli.
V 1. polovici 17. storočia sa uskutočnila baroková prestavba, počas ktorej boli reprezentačné siene 1. poschodia prebudované na viacero menších miestností. Ďalšie väčšie zmeny boli vykonané až v 2. polovici 18. storočia. Súvisela s nimi najmä prestavba dvojpodlažnej gotickej kaplnky, ktorá prekryla takmer všetky stopy jej pôvodnej stredovekej podoby.
V roku 1805 prešiel do rúk štátu
S úpadkom ťažby drahých kovov v banských mestách a po presídlení župných úradov do Banskej Bystrice (1789) zámok postupne strácal svoj pôvodný význam. V roku 1805 ho vtedajší majitelia Esterházyovci predali štátu a v jeho prázdnych miestnostiach sídlil súd, väznica a sklad tabaku.
Od barokovej prestavby realizovala provizórne opravy zámku až Uhorská pamiatková komisia v rokoch 1894 a 1906. V rokoch 1957 až 1969 sa uskutočnila jeho rozsiahla rekonštrukcia a v roku 1961 bol zaradený do zoznamu národných kultúrnych pamiatok. Od roku 1965 je zámok súčasťou Slovenskej národnej galérie.
Metódy jeho rekonštrukcie uprednostňovali zachovanie historicky a výtvarne najhodnotnejších fáz stavby s ťažiskom na obdobia gotiky a renesancie. Vďaka obnoveniu pôvodnej gotickej ochodze získalo nádvorie pôvodnú monumentalitu. V jeho dlažbe sa vyznačením starších základov románskeho kostola uplatnili tiež archeologické nálezy. K renovácii zámockej kaplnky sa pristúpilo až v 90. rokoch 20. storočia. Exteriéru aj interiéru bola vrátená podoba neskorého baroka z 2. polovice 18. storočia so zachovaním fragmentov gotických prvkov vo forme tzv. analytickej prezentácie.
V súčasnosti sú v hlavnej palácovej časti umiestnené expozície a depozitáre SNG, ich ťažisko spočíva na Obrazárni – zbierke európskeho maliarstva 16. – 19. storočia. V zámockej kaplnke sa pravidelne konajú bohoslužobné obrady rôznych konfesií. Priestory však majú aj rozmanité dočasné funkcie: Kráľovská sieň s kazetovým stropom a portrétmi panovníkov je zároveň koncertnou sálou, Rytierska sieň na prízemí severného krídla sa využíva na mestské občianske obrady.
Stredoveký zámok je v súčasnosti aj najbohatšou obrazárňou na Slovensku. Jeho priestory ponúkajú návštevníkom veľkú kolekciu starého umenia od 14. do 19. storočia. Siene prízemia a prvého poschodia sú výstavným priestorom s množstvom umeleckých druhov, tém aj štýlov.
