Der „Pfaffenhof“ war Verwaltungssitz und Wirtschaftsgebäude des Hochstiftes Passau. 

Das am rechten Erlaufufer gelegene Dorf „Wyden“ (lat. Vidum, bezeichnet ein kirchliches Gut) hatte in früherer Zeit noch keine eigene Pfarre. Der Pfarrer von Petzenkirchen wurde beauftragt, in diesem Haus gelegentlich auch seine Amtsgeschäfte zu erledigen. 

Um 1260 wurde das Pfarrvikariat geschaffen. Einen Kaplan erhielt „Wyden“ im Jahre 1318. 

1390 wurde das Dorf „Wyden“ in dem Markt Purgstall einbezogen.

1590 kam es in den Besitz der wohlhabenden Familie Rosner. Johann Georg Rosner war Marktrichter, Eisen- und Provianthändler. In dieser Zeit erhielt das Haus seine Bauform, welche bis heute erhalten ist. 

Von 1780 bis 1920 war der ehemalige „Pfaffenhof“ im Besitz der Familie Köster (Großgrundbesitzer) und wird bis heute von den Purgstallern „Kösterhaus“ genannt.