Au XIe siècle se trouvait à la place des jardins le château de Vauvert, celui du fameux diable (en fait val vert). Donné aux Chartreux par Saint Louis en 1257, leur pépinière est toujours là. Construit au début du XVIIe suite à la régence de Marie de Médicis, le palais du Luxembourg est le siège du Sénat français, où il fut installé en 1799, le bâtiment actuel datant de 1884. Le Musée du Luxembourg, d'abord installé dans le palais, fut quant à lui le premier musée français ouvert au public, en 1750.