Die Errichtung der Burg dürfte gegen Ende des 12. Jahrhunderts erfolgt sein. Bauherren waren Gefolgsleute der Stubenberger, die die Burg als freies Eigen besaßen und sich auch nach ihr nannten.

1218 werden die Brüder Ulrich und Reinher von Freiberg urkundlich genannt. Die Freiberger werden bis in das letzte Viertel des 14. Jahrhunderts immer wieder erwähnt. Während der Wallseer Fehde, an der die Freiberger an der Seite der Stubenberger teilnahmen, wurde ihre Burg zerstört. Die Familie starb bald danach aus und die Stubenberger zogen die herrenlose Burg ein und verliehen sie an die Stadler, die ebenfalls zu ihrem Gefolge zählten. Diese bauten den Ansitz gegen Ende des 15. Jahrhunderts wieder auf. Georg Stadler vollendete 1522 den Ausbau.

Das neue Schloss liegt aber nicht an der Stelle des alten Wehrbaues sondern etwa 80 m südlich davon. Der Burgstall diente nunmehr als Weingarten. Da 1635 kein Mitglied der Familie Stadl mehr katholisch war, gelangte Freiberg an die Freiherren und Brüder Ott Gottfried und Ferdinand Erasmus von Kollonitsch. Um 1638 wurde das Schloss durch Ott Gottfried weitgehend zu seiner heutigen Gestalt ausgebaut. 1724 erbte der Wiener Fürsterzbischof Kardinal Graf Siegmund Kollonitsch die Herrschaft. Er veranlasste um 1747 die Modernisierung und Erweiterung der Schlossanlage. Der Neffe des Kardinals, Ladislaus Zaj von Zaynberg, übernahm 1747 nicht nur Freiberg sondern auch den Namen Kollonitsch. Die Grafen Kollonitsch von Kollograd waren bis zu ihrem Aussterben im Jahr 1874 im Besitz der Herrschaft. Danach wechselten die Eigentümer ziemlich rasch.

1928 fand die letzte durchgreifende Restaurierung des Schlosses statt. Vor allem in der Zeit nach dem Zweiten Weltkrieg wurde das Gebäude schwer vernachlässigt und verkam. Professor Dr. Fischer begann mit Sanierungsarbeiten, doch verhinderte sein baldiger Tod die Wiederherstellung. 1976 übernahm der Gastwirt Walter Haibel das Schloss. Er und sein Mitbesitzer, Erich Mohringer, setzten die Restaurierung in kleinen Schritten fort. Bis Ende 2006 war in den gewölbten Räumen des Erdgeschosses ein Restaurant untergebracht. Die Innenräume werden für Veranstaltungen aller Art genutzt.

Weitere Informationen: Burgen Austria