Slotje Tolloijsen
Het kasteel is één van de zeven slotjes van Oosterhout, waarvan er nog vijf resteren: Beveren, Borssele, Brakestein, Limburg en de Blauwe Camer. Slotje Spijtenburg en slotje Tolloijsen bestaan niet meer.
Ter hoogte van Leijsenstraat 38 moet het mysterieuze slotje Tolloijsen hebben gestaan. Pas in 2013 werd door jarenlang onderzoek duidelijk waar het slotje ongeveer gestaan moet hebben.
De eerste eigenaar, in 1422, was Gijsbrecht, zoon van de heer van Oosterhout en kleinzoon van de beroemdste Oosterhouter, Willem van Duvenvoorde. De nakomelingen van Gijsbrecht noemden zich Van Tolloijsen. Vastgelegd werd dat het slotje nooit verkocht mocht worden en altijd in de familie moest blijven. Tot ver in de 16de eeuw was dit ook zo. Uiteindelijk is het Slotje toch verbouwd tot boerderij en in 1803 is het gesloopt.