Nach den Ungarneinfällen im 10. Jahrhundert wurden die damals bereits bestehenden Holzbauten zu einer Burg ausgebaut, die Ernstain genannt wurde. Als Bauherren vermutet man die Grafen von Pogen. Gregor von Pogen wird gelegentlich genannt. Kaiser Heinrich II schenkte 1009 das ganze umliegende Gebiet dem Hochstift Bamberg.

Im 11. und 12. Jahrhundert befand sich die Burg im Besitz der Grafen von Ering. Meist verliehen oder verpachteten sie die Veste. Von 1296 bis 1377 herrschten hier die Grafen von Hals. 1400 verkaufte Ritter Heinrich Weckhinger, die Herrschaft an Ritter Wilhelm von Frauenhofen, der Ernstain in Frauenstein umbenannte. Herzog Heinrich der Reiche von Niederbayern kaufte Frauenstein im Jahr 1435.

Danach wurde sie von landesfürstlichen Pflegern verwaltet. Kaspar Peuntner hatte dieses Amt 1504 inne. Während des Niederbayerischen Erbfolgekrieges (1504 – 1506) wurde die Burg geplündert und teilweise zerstört. 1508 überließ Herzog Albrecht I Frauenstein als freies Eigen seinem Kanzler Dr. Peter Paumgartner und dessen Bruder. Sie ließen bis 1519 das Schloss praktisch neu errichten und wesentlich vergrößern. 1562 wurde die Herrschaft zwischen zwei Familienzweige geteilt, aber 1602 nach dem Aussterben der Eringer Linie wieder zusammengeführt. Da das bayrische Ering besseren Wohnkomfort als Frauenstein bot, wurde es als Wohnsitz vorgezogen, was zum langsamen Verfall von Frauenstein führte. Mit dem Friedensvertrag von Teschen kam die Burg 1779 zu Österreich.

1807 ließ Max Graf von Paumgarten den Großteil des Schlosses mit der Kapelle abreißen und neben dem Getreidespeicher ein Herrenhaus errichten. Als mit dem Grafen Karl Ludwig von Paumgarten 1885 die Familie ausstarb, ging das Schloss an den Freiherrn Herbert von Veningen über. Während der Besatzungszeit von 1945 bis 1955 wurden an den noch vorhandenen Gebäuden schwere Schäden angerichtet. 1997 pachtete der Verein "Lebendiges Frauenstein" die Ruine bzw. die noch bestehenden Bauten auf 99 Jahre von Baron Veningen, um sie vor dem endgültigen Verfall zu retten.

Weitere Informationen: Burgen Austria