Çeşitli dönemlerde çıkan [[Yangın|yangınlardayangın]]larda büyük zarar görmesine rağmen defalarca restore edilmiştir. Özellikle 1782 yılında çıkan yangında harap hale gelmiş, ardından da tekrar tamir edilmiştir. Bazı tarihlerdeki medrese kayıt listelerine bakıldığında medrese kapasitesinin yirmi beş ile otuz öğrenci arasında değiştiği gözlemlenmektedir.<ref>Bkz. 23 Temmuz 1869 tarihli medreseler listesi ve 2 Eylül 1914 tarihli rapor.</ref> 1914 tarihli bir raporda medresenin henüz yeni tamir olmuş on dört odasının bulunduğu ve odaların ikişer kişi aldığı yazmaktadır. Bu rapordan medresenin 1908 tarihli yangında hasar gördüğü de anlaşılmaktadır. Medresenin Kovacılar Caddesi'ne bakan kısmından küçük bir avluya girilmektedir. Avlunun sağ tarafında ise Gazanfer Ağa'nın [[ongen]]<ref>{{kitap kaynağı|başlık=Gazenfer Ağa Medresesi|yayıncı=AnaBritannica - 9. Cilt|sayfa=326|basım=Ana Yayıncılık|dil=Türkçe}}</ref> ([[TDV İslam Ansiklopedisi|TDVİA]]: [[onikigen]]) planlı ve kubbeli olan bir türbesi bulunmaktadır. Avlunun ve bulvarın sol köşesinde ise bir [[sebil]] bulunmaktadır. Aynı zamanda avlunun içerisinde en eskisi 1616 tarihli olmak üzere on adet kabirden meydana gelen bir [[hazire]] vardır. Ön avludan geçilerek gelinen medrese kısmı ise önemli mimari özelliklere sahiptir. Bu kısımda derslikler sıralanmıştır. Girişin tam karşısında ise [[kubbe]] ile örtülü olan kare planlı mescid-dershane yer alır. Medrese planında on beş hücre bulunmasına rağmen vakfiyesinde on yedi hücre yazmaktadır.<ref>{{Web kaynağı | başlık = Gazanfer Ağa Külliyesi | url = http://www.islamansiklopedisi.info/dia/pdf/c13/c130237.pdf | yayıncı = [[TDV İslam Ansiklopedisi]] | arşivurl = https://web.archive.org/web/20161110173036/http://www.islamansiklopedisi.info/dia/pdf/c13/c130237.pdf | arşivtarihi = 10 Kasım 2016 | erişimtarihi = 10 Kasım 2016 | ölüurl = no }}</ref>
Medrese 1942 yılında [[Atatürk Bulvarı, İstanbul|Atatürk Bulvarı]]'nın açılmasıyla önemli bir konuma ulaşmıştır fakat yanında [[Bozdoğan Kemeri]]'nin bulunmasından ötürü [[rutubet]]li bir yapısı da vardır. Medrese 1943-1944 arasında restore edilerek 1945 yılında Belediye Müzesi'ne dönüşmüştür. 1989'da da İstanbul Büyükşehir Karikatür ve Mizah Müzesi'ne çevrilmiştir.<ref>{{Web kaynağı | başlık = Karikatür ve Mizah Müzesi | url = http://ataturkkitapligi.ibb.gov.tr/ataturkkitapligi/index.php?dil=tr&p=3&ID=3 | yayıncı = Atatürk Kitaplığı | arşivurl = https://web.archive.org/web/20161110173014/http://ataturkkitapligi.ibb.gov.tr/ataturkkitapligi/index.php?dil=tr&p=3&ID=3 | arşivtarihi = 10 Kasım 2016 | erişimtarihi = 10 Kasım 2016 | ölüurl = no }}</ref>
