Der Name scheint erstmals in einer Urkunde aus dem Jahre 1116 als „Adelhartsperge“ auf, in der Bischof Ulrich von Passau dem Kloster Seitenstetten die Pfarre Aschbach mit der Filialkirche Allhartsberg übergibt. In der Folge benennen sich mehrere Ritter nach dem Ort, der zum Herrschaftsbereich der Landesfürsten von Steyr gehört. So findet man in mehreren Urkunden die Oreuhaven von Steyr als Besitzer der Allhartsberger Burg. Diese wird 1277 ausdrücklich erwähnt.
Wo diese Burg stand, bleibt allerdings im Dunkeln. Da außerhalb des Ortes Allhartsberg keinerlei Spuren einer Feste aufzufinden sind, nimmt man an, dass der heutige Allhartsberger HOF auf den Grundfesten dieser Burg steht oder aus deren Mauern erbaut wurde.
Ab 1666 ist Allhartsberg im Besitz des Grafen Lamberg. Im 17. Jahrhundert erhielt das Haus seine heutige Form und wurde mit großzugigen Gewölben und straßenseitig mit zwei offenen Arkadenbögen ausgestattet.
Kriegswirren und Brände im Zuge der Türken- und Franzosenkriege sind über das Haus hinweggezogen, doch seine Mauern hielten stand.
1982 wurde der Allhartsberger HOF vollständig restauriert. Mit viel Liebe zum Detail und Verständnis wurde Altes erhalten und Neues stilvoll hinzugefügt.
Im Dezember 2017 wurde der Allhartsberger HOF wieder eröffnet sowie im Sommer 2022 aufwendig saniert und umgebaut.
