Na de aanleg van de nieuwe stadsomwalling in 1531 was de locatie van het huidige stadspark Valkenberg daarbinnen komen te liggen. Het oude huis Valkenberg aan de Catharinastraat werd samengetrokken met percelen buiten de muur. Hendrik III liet hier een tuin aanleggen in renaissancevormen, verdeeld in rechthoekige vakken en versierd met beelden, soms versierd met typische renaissancemotieven.
De Oranjes verbleven in de zeventiende eeuw slechts nu en dan op hun oude stamslot. De kinderen van Willem van Oranje, Filips Willem (1554-1618) en Maria, renden in hun jongste jaren ‘rond de kleurige bloemenperken en onder de lommerrijke lanen van het Valkenberg’. Na de dood van hun moeder brachten zij hun jeugd elders door, maar Filips Willem keerde vanaf 1609 regelmatig terug naar Breda.
In het Valkenberg liet hij een moestuin aanleggen door zijn hovenier Govert van (den) Houte, die het ongetwijfeld druk gehad moet hebben met de verzorging van hof en boomgaard. Het Valkenberg moest zijn opbrengst ‘vande vruchten ende tgewas’ leveren ‘naer gelegentheyt vanden saysoene’ voor de keuken en tafel van de families van Oranje en Nassau. Maar ook de bedienden, de hofstoet en de talloze gasten profiteerden ervan.
Het Valkenberg deed tot 1812 dienst als kasteeltuin voor de heren van Breda. Het park dankt zijn naam aan een valkenhuis dat aan de rand ervan stond en van waaruit de kasteelbewoners en hun gasten de valkenjacht bedreven.