In de eerste helft van de vijftiende eeuw verbleven de Nassaus op het kasteel van de Polanens. Jan IV van Nassau vond dat dit middeleeuwse kasteel niet meer aan de eisen van de moderne tijd voldeed en liet aan de zuidoostzijde van het complex een nieuwe sierlijke laatgotische vleugel bouwen.
Het bezat bakstenen trapgevels met speklagen van natuursteen en een traptoren. Dit gedeelte leek sterk op het nog steeds bestaande Markiezenhof in Bergen op Zoom. Een gedeelte van het zware middeleeuwse kasteel van de Polanens bleef voorlopig staan.
Om het kasteel liet Jan IV een zeer moderne omwalling aanleggen. Het buskruit was al uitgevonden en sommige steden en belangrijke heren legden reeds verdedigingswerken aan die hierop waren berekend.
Graaf Hendrik III van Nassau had een vooraanstaande positie aan het Bourgondische hof. Hij was direct betrokken bij de kroning van Karel V tot keizer in 1530. Tijdens zijn werk voor de keizer kwam hij in Zuid-Europa in aanraking met de renaissance architectuur en raakte daardoor geïnspireerd. In de jaren dertig van de zestiende eeuw liet Hendrik van Nassau het kasteel van Breda verbouwen tot een toonaangevend renaissance paleis naar Zuid-Europees voorbeeld. Hiervoor stelde hij de kunstenaar-architect Tommaso Vincidor da Bologna aan, een leerling van Rafael. Het ontwerp van het paleis was gebaseerd op twee binnenhoven, waarvan er slechts één werd gerealiseerd. Bij de komst van de Koninklijke Militaire Academie in 1828 werd het paleis vrijwel geheel ontdaan van haar renaissance uiterlijk.
Een van de eerste nieuwe gebouwen die graaf Hendrik III in zijn paleiscomplex liet oprichten was de zogenaamde Raad- en Rekenkamer. Hier werd de Nassause Domeinraad gevestigd. Deze Domeinraad was belast met het beheer van de uitgebreide goederen van de Nassaus, bossen, landerijen, polders, molens, cijnzen enzovoorts. Het gebouw werd geplaatst in 1510 en was voorzien van een open galerij op Tudorbogen en een fraaie traptoren. Het ligt tegenwoordig vlak bij de monumentale ingangspoort tot het kasteelcomplex. (Bron: Breda Boek)