Na de plotselinge dood van zijn vader erft de jonge Willem op 18-jarige leeftijd onder andere het kasteel van Breda. Dat was in 1668, een goed jaar na de Vrede van Breda. Nadat hij stadhouder is geworden, houdt Willem III in 1678 zijn Blijde Incomste als heer van Breda. Een jaar later laat hij de vestingwallen aanpassen en hierna wordt het kasteel in zijn opdracht afgebouwd. Na de start door Hendrik III en enkele toevoegingen door René van Chalon waren er maar weinig bouwactiviteiten. In 1686 laat Willem III de laatste vleugel van het oude Polanenkasteel vervangen.
Nationale en internationale beslommeringen hielden Willem III echter niet in Breda. Hij wordt zelfs in 1689 koning van Engeland. Zo ver had nog geen enkele Oranje het geschopt!
Maar helaas komt aan alles een einde, dus ook aan koning-stadhouder Willem III. In Kensington valt hij van zijn paard en bezwijkt twee weken later aan de gevolgen van deze val op 52-jarige leeftijd. Met dit overlijden gaat ook het prinsdom Orange verloren en gaat het kasteel in Breda voor lange tijd op slot.
Het wapen was verdeeld in vier kwartieren, waarvan I en IV nogmaals verdeeld waren in vier kwartieren. Op het wapen staan: I en IV: 3 Fleur de lis van goud op een veld van blauw (Frankrijk), drie liggende leeuwen van goud op een veld van rood (Engeland), II een rode staande leeuw op een veld van goud in een dubbele geleliede schildzoom van rood (Schotland), III: Een gouden harp op een veld van blauw (Ierland), waarop een hartschild met een staande leeuw van goud op een veld van blauw bezaaid met blokjes van goud. (Bron: Wikipedia)