Les plus anciens propriétaires connus font partie de la famille de Louënan, très présente à Baden.
Entre le XVIe et XVIIIe siècles, la seigneurie de Toulvern n’est guère habitée par ses propriétaires fonciers, seuls les tenanciers occupent et cultivent le domaine de Toulvern. Parmi ces derniers, on trouve essentiellement une branche de la famille Le Gouguec sur plusieurs générations ; cette famille est bien implantée à Baden, non seulement à Toulvern, mais aussi à Mériadec, Brangon…
A ce jour, nous n’avons pas trouvé de trace écrite permettant de décrire l’architecture du manoir d’origine. Par contre, un acte de 1775 donne un aperçu des bâtiments de Toulvern au XVIIIe.
Selon ces descriptions, on peut supposer que ces bâtiments ont servi de base aux futures constructions.