Die erste Burg wurde 1354 von Heinrich I. von Gymnich als befestigtes Haus erbaut. Heinrich erklärte sie als Offenhaus der Kölner Kirche und empfing sie vom Kölner Erzbischof Wilhelm von Gennep zu Lehen. Im Jahre 1399 ließ der Kölner Erzbischof Friedrich von Saarwerden die Burg in Gymnich abbrechen, weil Heinrich II. von Gymnich, ein Enkel Heinrichs I. und Lehnsmann des Kölner Erzbischofs, andere Lehnsleute des Erzbischofs gefangen gesetzt hatte. Heinrich verpflichtete sich, dass er und seine Nachkommen in Gymnich nie mehr ohne Genehmigung des Erzbischofs ein befestigtes Haus errichten würden.
Wahrscheinlich war das 1419 genannte Haus ein unbefestigter Neubau, den Heinrichs Enkel Arnold von Gymnich 1467 erbte und mit seiner Frau Margarethe von Buschfeld häufig bewohnte. Die Familie von Gymnich betrachtete Schloss Gymnich als ihren Stammsitz, doch als Wohnung bevorzugte sie ihre Stadthäuser, vor allem den Gymnicher Hof in Köln am Neumarkt. Der 1547 errichtete Südflügel des heutigen Schlosses wurde 1642 bei der Belagerung Lechenichs in Brand gesteckt und 1655 wieder aufgebaut. Der Ostflügel wurde 1722 errichtet. Seine Räume wurden um 1738 von Carl Otto Theodat von Gymnich im Rokokostil ausgestattet. Im Jahre 1825 fiel das Schloss als Erbe an die Grafen Wolff Metternich. Durch Heirat kam es an Vicomte de Maistre, danach an Freiherrn von Holzschuher.