Frederik Johan van Baer bouwt niet alleen de buitenkant van het huidige Kasteel Slangenburg, ook de binnenzijde verraadt nog grotendeels zijn smaak. Veel van de schilderingen op de muren en plafonds dateren uit de 17e eeuw, een aantal van de hand van Gerard Hoet.

Net als zijn voorouders was Frederik Johan katholiek, zodat hij een burgerlijke carrière kon vergeten. Gelukkig bleek hij een getalenteerd militair, die opklom tot generaal in het leger van prins van Oranje Willem III. En als je zo’n belangrijke positie hebt veroverd, moet je er rekening mee houden dat zo’n prins wel eens langs kan komen in je kasteel. Dus was de Prinsenkamer altijd in gereedheid.

Ook zijn werkkamer is nog intact, met mooie afsluitbare opbergkasten in de muren. Hier beheerde hij zijn landgoed en schreef hij zijn vele boze brieven. Frederik Johan was een getalenteerd strijder op het slagveld maar vergat dat het daarbuiten soms handiger is om de strijd niet aan te gaan.

Frederik Johan is één keer getrouwd geweest, maar zijn vrouw overleed al na een jaar. Hij stierf dus kinderloos, en ook zijn neef die het kasteel erfde stierf kinderloos, waarna zijn zus erfgenaam is. Door geldproblemen moet zij het kasteel verkopen en komt het in handen van een andere adellijke familie, de familie Steengracht. Die verkopen het in 1895 opnieuw op een veiling, nu aan de Duitse industrieel Passmann. De meeste meubels in het kasteel en de decoratie van de centrale hal dateren uit die tijd. De oorspronkelijke wandschilderingen met portretten van het geslacht Van Baer zijn met de laatste nazaten naar Duitsland gegaan en daar nog steeds in familiebezit, dus de familie Passmann moest nieuwe decoraties aanbrengen.

Boven de ventrale hal is nog een hal aangebracht met een prachtig uitzicht over het voorplein.

De grote feestzaal is opnieuw ingericht en wordt tegenwoordig gebruikt als trouwzaal.