Ursprünglich befand sich an diesem Standort der Witwensitz des Hauses Büren. Nach dem Tode des Moritz von Büren im Jahre 1661 ging sein gesamtes Vermögen, also auch der Witwensitz, testamentarisch an den Jesuitenorden. Diese brachen das alte Gebäude ab und errichteten sich eine Residenz im Stile der späten Renaissance.
Eine Inschrift im Eingangstor belegt dies:
(Haus der Gesellschaft Jesu 1664 – ehemals Witwensitz des Hauses Büren)
Im Jahre 1724 verließen die Jesuiten diese Residenz und bezogen einen schon bewohnbaren Flügel des Kolleggebäudes in der Burgstraße. Über die Nutzung in den folgenden Jahrzehnten gibt es keine verbindlichen Aufzeichnungen.
1806 wurde das Gebäude an den Apotheker Adolf Quicken verpachtet, mit der Auflage, das inzwischen verfallene Haus wieder instand zu setzen und zusätzlich zur Apotheke eine Gastwirtschaft zur Aufnahme von Reisenden einzurichten. Herr Quicken übernahm die ehemalige Jesuitenapotheke aus dem Kolleg, mit einem außergewöhnlich schönen Inventar, das heute teilweise im Historischen Museum der Wewelsburg zu bestaunen ist.
Ab 1914 war der Apotheker Theodor Ostermann Besitzer der ehemaligen Residenz, der sie 1933 an den Kreis Büren verkaufte. Die inzwischen etablierte Apotheke zur Residenz siedelte in die Burgstraße um.
Nach der Auflösung des Kreises Büren 1975 durch die kommunale Gebietsreform zog hier die Stadtverwaltung ein. Schriftzüge an der Außenfassade erinnern daran.
Seit einigen Jahren findet im schönen Innenhof u.a. der Open-Air-Musik-Sommer statt. An jedem Freitagabend im August gibt es Live-Musik vom Feinsten und Party-Stimmung pur.