Eine erste Siedlung entwickelte sich ab der Mitte des 1. Jahrhunderts mit der Errichtung eines römischen Militärlagers. Zahlreiche archäologische Grabungen legen Zeugnis über die Besiedlung des Platzes bis ins 5. Jahrhundert ab. Eine nachweisbare Besiedlung des Hochplateaus setzte erst wieder im 11. Jahrhundert ein. Die älteste erhaltene schriftliche Erwähnung als "Nivvenburc" stammt aus 1108. Große Bedeutung erlangte die Stadt um 1113, als sich Markgraf Leopold III hier eine ansehnliche Residenzstadt schuf. Im Jahr 1114 ließ er den Grundstein für eine neue Stiftskirche legen.

Die Kirche war ursprünglich ein Kollegium für weltliche Kanoniker und wurde erst 1133 in ein Augustiner-Chorherrenstift umgewandelt. Neuburg bekam damals schon jene Ausdehnung, die sie durch Jahrhunderte beibehielt. Nach dem Tod Leopold III verliert Klosterneuburg seine Bedeutung als Residenz. Unter Leopold VI (1198 - 1230) erlebte die Stadt jedoch einen neuen Aufschwung. Nach Koch wird nun auch die regelmäßige Stadtanlage mit den Stadtmauern errichtet. Bereits vor Leopolds Tod wird Klosterneuburg wieder als landesfürstliche Residenz aufgegeben. Um 1282 wird die Stadt unter dem Habsburger Herzog Albrecht I stark befestigt und durch die neue Albrechtsburg verstärkt. Die alte Burg verliert somit ihre Funktion, sie wird allmählich in den Stiftskomplex integriert und überbaut.

Die schlecht umwehrte und daher schwer zu verteidigende Untere Stadt musste immer wieder den feindlichen Belagerungen preisgegeben werden. Sie wurde mehrmals geplündert und zerstört, während sich die Bevölkerung in den Schutz der stark befestigten Oberen Stadt begab. So vor allem während der Türkenbelagerungen von 1529 und 1683. In den Jahren 1805 und 1809 wurde die Stadt von französischen Truppen besetzt. Die inzwischen nutzlos gewordene Stadtbefestigung wurde in den 60er Jahren des 19. Jahrhunderts bis auf wenige Reste beseitigt.

Weitere Informationen: