Ce fut à l'origine un véritable château féodal avec tours, fossés, pont-levis, ce dernier avait deux petites tours dont les vestiges étaient encore visibles au début du 19^e siècle. Si son architecture ne présentait rien de remarquable, la Commanderie constituait toutefois un ensemble assez pittoresque, avec ses bâtiments couverts de tuiles qu'entouraient des douves profondes et un immense jardin entièrement clos de murailles ayant six pieds d'épaisseur.
En 1789, toute trace de défense a disparu. Ce qui s'appelait encore le château était précédé d'une cour dans laquelle on entrait d'abord par un petit portail, puis par un grand. L'entrée du corps de logis s'effectuait par un escalier de bois. Derrière les bâtiments, les douves et les jardins. Sous une tour, il y avait une petite prison où fut enterré, dit-on, un roi de Jérusalem.
Sur la place qui précédait le château, un curieux bâtiment de deux étages masquait en partie le grand portail d'entrée. C'était la halle au marché que prolongeait le fournil où chacun venait obligatoirement cuire son pain, car, par ordonnance du Sénéchal, il était interdit de moudre en dehors du moulin "banal", en l'occurence celui de Fraud, interdit de cuire en dehors du four "banal" situé devant le château, et ce, les mercredis et samedis exclusivement. Dures journées pour les boulangers... mais en ce temps-là, chacun cuisait son pain.
Le château fut vendu nationalement le 14 novembre 1792.
La chapelle du château se trouvait sensiblement où se trouve actuellement la chapelle du St Sacrement. Elle fut consacrée le 3 novembre 1455.
Quant à l'église de Villedieu (l'ancienne), elle fut commencée en 1826 et ne fut reconnue paroissiale qu'en 1833.
On raconte alors qu'un groupe de paroissiens emmenés par M. Johannès se rendit ANGERS pour demander un curé à Mgr Montault. La réponse fut assez sèche :
"Quand vous aurez une église, vous aurez un curé.
- Mais Monseigneur, nous en avons une, répondit M. Johannès.
- Eh bien! il y a un jeune curé qui sort d'ici, rattrapez-le et s'il accepte, je vous le donne pour curé."
La chasse à l'homme s'organisa dans les rues d'Angers, et bientôt l'ecclésiastique fut abordé poliment par M. Johannès qui lui exposa sa demande.
C'est ainsi, dit-on, que M. l'abbé PELTIER devint le premier curé de Villedieu et fut installé le 21 novembre 1833. Il repose dans le cimetière de Villedieu dans le tombeau près de la croix centrale.