Ursprünglich gab es in der Umgebung von Neustift lediglich 3 Höfe, einer davon ist der Pacherhof. Dieser wurde bereits, lange bevor Bischof Hartmann 1142 das Kloster Neustift gründete, urkundlich erwähnt. Vielleicht haben dem Bischof damals schon die Marende (Jause) und der Weißwein beim Pacherhof so gut geschmeckt, dass er das Kloster gründete?!
Was wäre der Pacherhof ohne die berühmten
Gotikmaler Michael und Friedrich Pacher. Friedrich Pacher, ein Mitarbeiter Michael Pacher (sicher mit diesem verwandt, wenn nicht sogar sein jüngerer Bruder), wurde 1440 hier am Pacherhof geboren. Von ihm stammen auch der Katharinen- und Barbara-Altar in der Stiftskirche in Neustift.
Bis 1849 war der Familienname am Hof auch
Pacher. Andreas Pacher hatte allerdings 4 Töchter und eine davon, Maria, heiratete den bekannten
Winzer Josef Huber aus Elvas. Damit zog ein neuer Familienname auf den Pacherhof. Bekannt war Josef Huber zusammen mit dem Völklbauer Johann Huber aus Elvas vor allem als Eisacktaler Weinpionier. Nach vielen Erkundungsfahrten bis in die Niederlande kamen sie zur Erkenntnis, dass für diese Böden und teils steilen Hänge der Sylvaner, der Ruländer und der Gewürztraminer sich am besten eignen. Zuerst kaum beachtet, doch später von vielen nachgeahmt, sind diese Weinsorten bis heute das Aushängeschild des Eisacktaler Weinbaus.
1970 übernahm der Enkel des legendären Weinpioniers, mit Namen ebenfalls Josef Huber, den Hof. Seit 1986 ist der Pacherhof mit amtlichem Erlass
Erbhof. Dafür muss der Hof nachweislich seit mindestens 200 Jahren von derselben Familie bewohnt und bewirtschaftet werden.

Heute liegt die Führung des Pacherhofs in den Händen der nächsten Generation:
Sohn Andreas zeichnet für das Weingut verantwortlich und baut auf 8 Hektar Trauben an, die im eigenen Keller gekeltert und unter dem Namen
Weingut Pacherhof vermarktet werden.
Tochter Monika und ihre Familie führen das Hotel Pacherhof mit
Zimmern und Suiten im historischen Hof und einer modernen Dependance sowie
Restaurant für gemütliche Feiern, Festlichkeiten und Törggeleabende.