Es gibt keine schriftlichen Quellen zu den Ursprüngen der Burg / des Schlosses. Angenommen wird, dass es  als befestigte Anlage im Zuge des Slawenfeldzuges von König Heinrich I. (919-936) errichtet wurde.

Erstmals schriftlich erwähnt wird sie im Jahre 1213. 1365 bekommt die Familie v. Hartizsch das Lehen über Weißenborn und einige benachbarte Rittergüter und beginnt 1368 mit dem Umbau der romanischen Kirche. Man vermutet, dass zu dieser Zeit bereits eine von drei Seiten mit Wasser umgebene Burganlage existierte.

Im Siebenjährigen Krieg (1756-1763) wurde das Schloss versehentlich beschossen. Davon zeugt die über dem Schlosseingang befindliche Gedenktafel und die in der Außenwand steckengebliebenen Kanonenkugeln. Je nach den Bedürfnissen der Zeit der Eigentümer wurde die Burg immer mehr zum Wohnschloss und erhielt ihr heutiges Erscheinungsbild. 

Von 1939 bis 1945 bezog der Reichsarbeitsdienst – weibliche Jugend, das Schloss. Nach Kriegsende wurde es bis 1949 als Kinderheim für Kriegswaisen genutzt. Ab 1949 war das Schloss Kulturhaus der Papierfabrik Weißenborn und wurde dadurch aller Wahrscheinlichkeit nach vor der Zerstörung und dem kompletten Verfall bewahrt. Zu dieser Zeit wurden in dem Haus Arzt-, Bibliotheks-, Kultur- und Wohnräume geschaffen.

Das Schloss erhielt dann 1954 einen Anbau als Kulturhaussaal. Nach der Wiedervereinigung wechselten die Besitzer, die Ihre unterschiedlichen Bau- und Nutzungskonzepte aber nicht dauerhaft umsetzen konnten. Ab 2002 wurde das Schloss von der Familie Vesterhager umfangreich saniert.

2023 kaufte die Familie Förster/ Penzl das Objekt, führt die Sanierung fort und versucht den alten Glanz des Objektes zu erhalten. Gleichzeitig wird in Teilen des Schlosses wieder ein Ort der Begegnungen geschaffen.