In 1826 begon een nieuwe periode in de geschiedenis van het kasteelcomplex van Breda. Koning Willem I besloot de opleiding voor genie- en artillerieofficieren in Delft op te heffen en in het paleis van Breda een militaire academie te vestigen. Willem I koos voor Breda vanwege de centrale ligging in de toenmalige Verenigde Nederlanden. Bij de noodzakelijke verbouwing ging veel van het oude renaissancepaleis verloren, zoals de overgebleven toren van de burcht van Jan van Polanen en de toegangstrap naar de grote zaal.

Het resterende gebouw werd met een verdieping opgehoogd en grotendeels ontdaan van haar zestiende-eeuwse ornamentiek. De eerste cadetten betraden in 1828 het academieterrein. Zij zagen een kaal strak gebouw zonder versiering. Pas in de twintigste eeuw werden restauraties met enig oog voor de historische waarde uitgevoerd.