En 1683, Louis XIV achète aux moines de l'abbaye de Saint-Germain-des-Prés la terre de La Celle et l'intègre dans le grand parc de Versailles.
C'est sur une parcelle de ce terrain, appelée le Bois des Hubies, que Louis XV ordonne à l'architecte Ange-Jacques Gabriel l'édification d'un pavillon de chasse dont la construction dura 4 ans de 1750 à 1754. Dans un premier temps, il portera le nom de "Pavillon des Hubies".
A partir de 1752, on adjoint à cet édifice des dépendances telles qu'un pavillon de garde, une laiterie, une vacherie, une écurie etc. De ces bâtiments annexes du XVIIIe siècle, il ne subsiste que le pavillon de garde aujourd'hui appelé maison forestière.
Après la Révolution, le 8 messidor an II (27 juin 1794), le Pavillon du Butard est adjugé comme bien national à François-Nicolas Pérignon, notaire à Paris. Le 3 floréal an X (23 avril 1802), il devient la propriété de Joséphine de Beauharnais qui souhaite ainsi agrandir son domaine de Malmaison mais fait retour au domaine national lors de son divorce en 1809 avec Napoléon 1er.
Le roi Charles X y vient faire quelques chasses. Sous le Second Empire, Napoléon III goûte aux charmes du Pavillon du Butard. En 1860, l'architecte Questel construit un deuxième pavillon de garde sur le modèle du premier et démolit les diverses autres dépendances.
Durant la guerre franco-prussienne de 1870, le Pavillon du Butard est alors occupé par les Prussiens qui brulèrent les lambris et les portes. De 1873 à 1900, le Pavillon demeura inoccupé et laissé à l'abandon, se dégrada fortement.
En 1884, Armand Fallières, alors ministre de l'Instruction Publique, propose le Pavillon du Butard à Pasteur. Cependant, le gouvernement lui accorde en définitive le parc de Villeneuve-l'Etang à Marnes-le-Coquette.
De 1900 jusqu'aux années 1950, le Pavillon du Butard est soit loué, soit mis à disposition de diverses personnalités. La première est Edmond Blanc qui le sous-loue au
grand couturier Paul Poiret, qui y donne de fastueuses réceptions (notamment les fêtes de Bacchus en 1912). Ce dernier, suivi de M. Métayer, restaurent patiemment le Pavillon et le
remeublent.
Le Pavillon du Butard a été classé au titre des monuments historiques par un arrêté du 29 août 1927. De 1933 à 1940, le Pavillon du Butard sert de musée pour les collections de
l'association du "Vieux Marly". Avec la guerre, le musée doit fermer. L'Administration des Eaux et Forêts reprend alors le rez-de-chaussée pour ses services.
A la Libération, le Pavillon du Butard servit de "repli" à des personnalités plus ou moins compromises avec l'occupant entre autres l'écrivain Jacques Chardonne (1884-1968). Il est ensuite mis à la disposition des Présidents de la Chambre des Députés puis de l'Assemblée Nationale. En 1959, le Pavillon est au centre d'une célèbre affaire de moeurs dite "des ballets roses", dans laquelle est impliqué André Le Troquer.
Propriété de l'Etat, il est actuellement confié à l'Office National des Forêts qui ne l'ouvre plus au public.
C'est en 2015 que l'Etat a commencé à faire part de son projet de vendre le Pavillon du Butard. Depuis avril 2016, l'association "Les amis du Butard" s'engage pour la sauvegarde et l'ouverture au public de cette construction majestueuse.