Au Xve siècle, Foulques III d'Agoult fait construire le château (partie « Château-vieux ») sur les ruines d'une forteresse du XII è siècle. Plus tard, c'est Louise, soeur de Raymond d'Agoult, neveu de Foulques III qui s'occupera du village puisqu'elle se verra confier la tâche d'administrer l'héritage de son fils encore jeune et orphelin de père. Elle gouvernera Lourmarin avec beaucoup de sagesse, attirera de nombreuses familles vaudoises dans la région et passera même un accord verbal avec elles. Elle fera construire la tour octogonale du couchant. C'est ensuite la descendante de la famille, Blanche de Lévis-Ventadour qui rebâtira le village avec faste en faisant notamment appel à quelques maçons italiens de renom. Elle ajoutera sa touche personnelle en construisant la tour Renaissance (partie dite « Château-neuf).
Après des périodes de fortunes diverses, les ruines du château furent acquises par un industriel lyonnais, Robert-Laurent Vibert, qui entreprit sa restauration.
A sa mort, survenue accidentellement en 1925, le château devint par testament la propriété de l'Académie des Arts et Belles Lettres D'Aix-en-Provence, à charge pour elle de constituer une « Fondation de Lourmarin Laurent-Vibert » , transformant ainsi le Château en « Villa Médicis de Provence ».