Die Geschichte des Hauses reicht zurück bis ins 12. Jahrhundert. 1180 als Berghof neu erbaut, gilt der Pfarrwirt bauhistorisch als eines der wertvollsten in Wien. Neben der St. Jakobs-Kirche, mit ihren römischen Fundamenten, liegt das mittelalterliche Haus auf einem Hügel und blickte auf die nahe Donau. Trotz zahlreicher Umbauten sind noch heute die Spuren aus dem 14. Jahrhundert an den hervorragend erhaltenen Steinportalen und Steinfenster zu erkennen.
Die berühmten „Rötelzeichnungen“, gleich neben dem Eingang, stammen aus dem 15. Jahrhundert und gelten in dieser Qualität als einzigartig in Wien.
Im 17. Jahrhundert wurde der historisch einstöckige Berghof zu einem Barockhaus umgebaut. Probst Ernest Perger ließ 1711 den Prälatensaal mit hochwertigen Stukkaturen und einem ovalen Deckenbild schmücken. Das Gemälde zeigt das Gleichnis vom Zinsgroschen aus dem Neuen Testament „Siehe, Sie gaben Gott, was Gottes ist.“
Die beeindruckende Holzveranda wurde 1872 zur Pflege der Wiener Kaffehauskultur geschaffen, 1904 auf ihre heutige Größe erweitert und zeugt damit von langer gastronomischer Tradition.
So wird jeder Raum und jede Speise von einem kleinen Stück Geschichte begleitet.
