In de jaren zestig wil de gemeente een groot deel van de verkrotte bebouwing in de binnenstad vervangen door een in beton opgetrokken nieuw winkelcentrum met grootstedelijke allures. Ook enkele oude, in de kern nog uit de middeleeuwen daterende panden verdwenen. Op het laatste moment werd het monumentale Pestengasthuis gered van de sloopdrift. Net als het Vliegerhuis verderop aan de Nieuwstraat.

Het Pestengasthuis werd ca. 1450 gebouwd aan de buitenkant van de toenmalige stadsmuur, als ‘ziekenhuis’ voor mensen die aan de pest leden. De pestlijders moesten geïsoleerd worden van de rest van de bevolking. Enkele eeuwen na de bouw van het pand, is de stadsmuur verplaatst omdat de stad groeide. Dit is de reden waarom het gebouw nu in het centrum van de stad ligt.  Nadat de pestepidemie was afgelopen, heeft het Pestengasthuis nog jaren dienst gedaan als soldatenhospitaal en als huis voor het weversgilde. Het pleintje voor het gasthuis heet dan ook sinds 1975 het Weversgildeplein. Vanaf de zeventiende eeuw heeft het gebouw nog gefunctioneerd als armen-weeshuis, pakhuis, woonhuis, edelsmidatelier… Oudere Zwollenaren kennen het nog als (tweedehands)boekhandel De Slegte. Sinds 1996 is restaurant ‘t Pestengasthuys gevestigd in het pand, dat in 1974 is gerestaureerd door architect Wim Wormhoudt. 

Die restauratie is te danken aan de inzet van de Vrienden van de Stadskern en tekenaar Han Prins. Zij deden in 1971 bouwhistorisch onderzoek waaruit bleek dat herstel van het inmiddels sterk vervallen Pestengasthuis nog altijd de moeite waard was. Han Prins maakte een schets van het gebouw in gerestaureerde vorm en mede door persoonlijk ingrijpen van burgemeester Drijber is het gasthuis van de voorgenomen sloop gered. Zodoende behoort het Pestengasthuis nu tot de oudst bewaard gebleven panden in Zwolle.

Op de tekening laat Han Prins zien welke invloed de bouw van een modern winkelpand van glas en beton zou hebben en hoe de Bitterstraat, die toen nog helemaal doorliep tot aan de Nieuwstraat, er ter hoogte van het Pestengasthuis ook uit had kunnen zien. Het huidige Weversgildeplein komt in de buurt van zijn idee.