L'entrée du château de Saint Agil se fait par une élégante poterne construite en 1510 par Antoine de la Vove. C'est un pavillon de briques et pierres flanqué de deux tours surmontées de mâchicoulis. La haute toiture contient une belle lucarne à fronton sculpté et se termine par un lanternon. Le corps de logis attenant est très ancien mais a été très modifié au XVIIIe siècle. Il est de construction massive et contraste avec la grâce de son entrée. Les seigneurs de Saint-Agil sont connus depuis le Xe siècle. Au XIVe siècle, on trouve la famille Le Gallais qui passe le domaine par voie de mariage à la famille de la Vove. Pendant le XVe et le XVIe siècle, cette famille se succéda au château de Saint-Agil et lui donna son aspect actuel. Ses descendants (les de Laugan, les Courtavel) conservèrent la propriété jusqu'en 1726. En 1818, le château de Saint Agil fut achetée par le comte de Saint-Maixent. Ses descendants le possèdent toujours.