Der Name des Schlosses dürfte von der Familie Kelberharder abgeleitet sein, die um 1329 in den Besitz der damaligen Wasserburg gelangte. Die Kelberharder zogen noch vor 1384 nach Strannersdorf und Grafenwörth.

Danach nannte sich die Familie Steinberger zeitweise nach Kälberhart. So wird 1389 ein Hertel Kälberharter erwähnt. Die Steinberger verloren den Ansitz 1420 an Hans Grill, gewannen ihn aber bald wieder zurück. 1470 verkaufte Jörg Seusenegker Kälberhart an Wenzel Stainberger. Die kleine Burg galt bereits 1534 als verfallen und 1548 wird sie als ödes Gemäuer bezeichnet. Die Eigentumsverhältnisse wechselten in den nächsten Jahrzehnten recht häufig. 1599 wurde Ferdinand von Concin zu Weissenberg und Plankenstein mit Kälberhart belehnt.

Seit 1637 war Peter Hofmann von Ankerskron im Besitz der Anlage. Möglicherweise war er es, der ihr ihre heutige Gestalt gab. Seine Nachkommen verkauften Kälberhart an Leopold Philipp Graf Montecucolli, dessen Witwe es 1698 an Johann Ignaz von Albrechtsberg weitergab. Dessen Sohn Jordan vereinigte es mit seiner Herrschaft Strannersdorf. 1782 kaufte Karl Freiherr von Seldern die beiden Güter. 1876 folgten die Grafen Barth von Barthenheim, danach die Ritter Mitscha-Märheim und die Familie Reich-Rohrwig. Heute ist das Anwesen im Eigentum der Familie König.

Weitere Informationen: Burgen Austria / NÖ-Burgen online