Královský dvůr či hrad existoval na pravím břehu Ohře již ve 13. století. Roku 1336 jej získali od krále Zajícové z Házmburka, za nichž ve druhé polovině 15. století byl hrad goticky přestavěn. O této přestavbě toho není mnoho známo, zdá se v však, že se již tehdy jednalo o čtverhrannou dispozici. Pozdně gotické úpravy po roce 1463 prováděli nejspíše tři mistři. Zhruba čtvercové jádro pravděpodobně zpevňovalo několik věží, z nichž se dochovala pouze spodní část severovýchodní, nárožní. Z bývalého jádra kromě ní stojí dnes dvě neúplná křídla, která si přes rozsáhlé novogotické úpravy dochovala mnoho ze své původní výbavy.

Jednotlivé místnosti v patře spojovala krytý pavlač, obíhající nádvoří. Do druhého poschodí s reprezentativními zákyse vcházelo po šnekovitých schodištích. Součástí sálů v západním křídle byly i honosné arkýře. Obě nádvorní průčelí vykazují prvky saské pozdní gotiky. Lépe než jádro se dochovalo vnější opevnění. Okružní hradba, silná až 1,7 metru, byla opatřena výklenky s klíčovými střílnami, z nichž některé si uchovaly i železné příčle pro zaklesnutí hákovnice. Na čelo opevnění navazovaly městské hradby. Proto musela být takto nechráněné části věnována zvýšená pozornost.a její zdivo zpevnily okrouhlé věže. Ve středu hradby je zachována brána s brankou pro pěší zajišťovaná zjednodušeným baštovitým předbraním, a od náměstí prolomená brána přístupná po mostě přes příkop. Za ní bývalo úzké předhradí, od vlastního jádra oddělené dalším příkopem.

Byl-li již královský hrad ve 13. století pravidelnou dispozicí, nelze vyloučit, že by mohl náležet do řady středoevropských kastelů. Pozdně gotická fáze budyňského hradu nebyla doposud plně doceněna. Hrad v té době náležel k nejnáročnějším šlechtickým rezidencím v zemi a i jeho opevnění bylo a je kvalitní. Od ostatních soudobých staveb ho výrazně odlišuje nápadná pravidelnost pravděpodobně získaná od starší dispoziční situace.

Pozdně středověký zámek vznikal na místě tohoto gotického královského hradu někdy koncem 15. století, patrně za Jana Zajíce Házmburka. Výbuchem střelného prachu poškozený zámek byl v roce 1551 upravován, zvláště jeho starší průčelní věž. Mladší, ale ještě renesanční jsou dochované klenby, jediný pozůstatek rozsáhlé přestavby, která proběhla za Jana Zbyňka z Házmburka na konci 16. a počátku 17. století. Znovu byl zámek poškozen ohněm v roce 1669 a poté, v roce 1759 za války sedmileté, zničujícím požárem.

Ke změně majitele došlo v počátku 17. století, když se Jan Zbyněk z Házmburka silně zadlužil – snad pro své alchymistické zaujetí. Byl nucen Budyni prodat, ale ani tak ještě věřitele neuspokojil. Zbyněk z Házmburka umírá v roce 1616 a jeho rod vymřel po meči v roce 1663. Panství koupil největší věřitel Adam ze Šternberka v roce 1614, čímž došlo ke sloučení Buryně a krátce předtím koupených Libochovic. Po třicetileté válce poničené panství Šternberkové prodali Dietrichsteinům. Ti zřídili panské sídlo na zámku v Libochovicích. Již roku 1694 uvažoval Gundaker z Dietrichsteina, vlastnící objekt od 1676 o přestavbě, k níž zhotovil plány Antonio Porta. Tento záměr však nebyl pro nákladnost realizován a zásahy se omezily pouze na nejnutnější opravy. Byly sneseny příklad těžké střechy, čímž byly budovy značně poškozeny. Zámek v té době sloužil jako byty pro úředníky a pro úřad hejtmana obou panství. V roce 1823 byla odbourána dvě zchátralá křídla, která z dodnes zachovalými uzavírala zámecké nádvoří. Při restaurování zámku v letech 1902 – 1911, tehdy již herbersteinského majetku (vlastnili zámek od roku 1858 do roku 1945), byly některé „gotické“ detaily doplněny a některé nově přidány; i přes tyto zásahy je možné říci, že tato rekonstrukce pod vedením E. Fialy vedla k obnově a záchraně chátrajícího objektu. Byl zastřešen, na nádvorní straně byly přistavěny arkýře a schodiště, řada úprav proběhla v severovýchodním křídle a byla doplněna severovýchodní věž. Po dokončení oprav zde byl umístěn klášter milosrdných sester. Znovu pak došlo k úpravám původního stavu při rekonstrukci probíhající v letech 1975 - 1990. To byl již hrad od roku 1946 majetkem města Budyně nad Ohří.

Z výzdoby interiérů z 16. století se zachovaly zbytky ve druhém patře západního křídla. Zvláště ve velkém(„zlatém“ či rytířském) sále je pozoruhodná malovaná výzdoba po stranách arkýřů a oken. Jsou tu pilastry s římsami a rostlinnými motivy a na stěnách výjevy z šlechtického života. V horní části je zajímavá řada znaků zasazených do arkády; mezi nimi jsou však i novodobé doplňky. Malby restaurovány a přitom i často pozměněny R. Říhovským v letech 1908 – 1913.

Ve dvacátých letech bylo v objektu zřízeno řídícím živnostenské školy Antonínem Jandou městské muzeum, které bylo přístupné veřejnosti do zahájení oprav zámku v roce 1975. K opětovnému otevření „Jandova muzea“ došlo 1. listopadu 1997 v prostorách bývalé konírny.

1. Vstupní brána do budyňského vodního hradu. Pozdně gotická brána byla vsazena do původní hradby opevnění hradu vůči náměstí. Most, kterým se do ní vstupovalo nebyl patrně padací, protože na bráně nejsou stopy po vpadlině pro jeho zapuštění.

2. Severovýchodní věž je typickou vstupní dominantou zámku. Byla silně porušena při výbuchu v roce 1551, když krátce před tím byla pokryta novou oplechovanou střechu. Výbuch se připisoval tomu, že některý z „čeledínů neb holomků“ (podle Václava Březana) nebo „holubář“ (dle Antonína Herynka) nechali hořet svíčku ve věži, v té době plné střelného prachu připraveného k obnově. Věž i nadále chátrala a opravy se dočkala až při rekonstrukci v letech 1902 – 1911.

3. Pohled na západní nádvorní stranu hradu. Arkýře pocházejí z rekonstrukce před první světovou válkou. U prvního zleva je původní nosný pilíř s házmburským znakem pod obnovenou konzolou. Z druhého arkýře, posazeného do kouta mezi severní a západní křídlo, jsou staré jedině nosné konzoly. Malými dveřmi v přízemí se vstupuje do muzea a alchymistické dílny.

4. Západní křídlo budovy se zachovalou v podstatě v původní podobě. Nově, po rekonstrukci zbudované arkýře jsou spojeny širokými pasy s arkýři nádvorními a mají renesanční klenby. Jeden z nich spočívá na čtyřhranném konzolou rozšířeném pilíři, druhý na jehlancové konzole s proláklými stěnami.

5. Klíčová střílna v západní hradní hradbě.

6. Venkovní průčelí severního křídla.

7. Nároží severovýchodní věže s 80 cm vysokou pískovcovou sochou umístěnou ve výstupku arkýře v rohovém zkosení budovy.

8. Zachovalý gotický nádvorní portál severního křídla.

9. Bývalá kaple. Nejstarší zachovalá část nyní slouží jako obřadní síň.

10. Kruhová bašta se zachovala z původního opevnění.

11. Původní vchod do hradu v západní hradební zdi.

12. Alchymistická dílna existovala na zámku v době Jana Zbyňka Zajíce z Házmburka. Přicházeli sem především vlašští alchymisté. Kromě podvodníků a šarlatánů byli mezi nimi i vynikající osobnosti. Jan Zbyněk, v té době president nad apelacemi a jeden z nejpřednějších šlechtců království pozval k sobě předního českého alchymistu Bavora Mladšího Radovského z Hustířan nebo historiografa a genealoga Bartoloměje Paprockého z Hlohol. Ten zde sepsal monumentální rodopisné dílo „Diadochus“ v němž vylíčil události své doby, rodopisy české šlechty historii českých měst.

13. Nástěnná malba ze Zlatého sálu představující život šlechty.

14. Budyňský drak. Pověst by nám přiblížila strašlivého draka žijícího v Ohři. Jeho původ je zcela jiný. Každý pozná že se nejedná o draka, ale o obyčejného krokodýla. Přivezl si ho z jedné ze svých dalekých cest, tentokrát z Egypta a do „svaté země“, Jan Zajíc z Házmburka. Jiná verze uvádí, že jej přivezl někdo z Lobkowiczů. Žil pravděpodobně v hradním příkopu. V době generální opravy zámku v letech 1970 – 1987 byl umístěn v Okresním muzeu v Litoměřicích. Na své místo se vrátil až v listopadu 1997. Údajně se jedná o nejstarší dochovanou vycpaninu v Evropě.

15. Zlatý sál budyňského hradu s erby vlastníků Budyně nad Ohří.