Die Burg wurde im 12. Jahrhundert von den Traungauer im Auftrag des Landesfürsten erbaut. Erstmals urkundlich erwähnt wurde sie im Jahr 1147.

1436 erhielten Albrecht, Hans und Jörg von Neuberg die Herrschaft als Leibgedinge. Andreas Baumkircher überfiel 1469 Hartberg und verschleppte den damaligen Burgpfleger Anton von Herberstein nach Schlaining. Als Matthias Corvinus 1487 Hartberg erobert hatte, verlieh er Stadt und Burg an Baumkirchers Sohn Wilhelm. Dieser behielt beides bis zur Rückeroberung durch Maximilian I im Jahr 1490. Hartberg blieb nun bis 1529 im Besitz des Landesfürsten, bis es Kaiser Ferdinand I an Siegmund von Dietrichstein verkaufte. Dessen Neffe Adam verpfändete die Herrschaft 1568 an seinen Verwalter Caspar Puggl, der die Burg renovieren lies.

1571 übernahm Johann Baptist von Paar den Besitz. Er baute von 1576 bis 1584 die Burg zu einem dreigeschossigen Renaissanceschloss um. 1624 bekam der bisherige Pfandinhaber Rudolf Freiherr von Paar die Herrschaft als freies Eigen übertragen. 1626 wurde sie in einen Fideikommiss eingebracht. Als Hans Christoph Freiherr von Paar in wirtschaftliche Schwierigkeiten geriet, wurde die Herrschaft 1634 gepfändet und Hans Albrecht von Herberstein zugesprochen. Nach einer neuerlichen Pfändung übernahm Karl Graf von Saurau 1641 den Besitz, bis ihn 1682 Georg Adam Graf von Lengheim kaufte. Er ließ das Schloss erweitern und anstelle des Meierhofes ein Amtshaus errichten.

1756 gelang es der Familie Paar, die Herrschaft wieder zu erwerben. Die nunmehrigen Fürsten wohnten aber in ihrem Wiener Palais und ließen Hartberg in der Obhut von Verwaltern. Nach Aufhebung der Grundherrschaft bot Karl Fürst Paar 1850 den Hartberger Besitz der Stadt zum Kauf an, doch kam dieser nicht zustande. 1981 veräußerte die Familie Paar das bereits stark vernachlässigte Schloss samt einigem Grundbesitz an die Stadtgemeinde. Nach einer umfassenden Renovierung wurde es an die Stadtsparkasse vermietet. Es dient heute vor allem als Bildungszentrum. Einzelne Räume können für Veranstaltungen gebucht werden.

Weitere Informationen: Burgen Austria