[[Dosya:Kazim karabekir speaker.jpg|200px|küçükresim|sol|Meclis Başkanı Karabekir.]]
1927 yılında [[Türkiye Büyük Millet Meclisi|TBMM]]'nin ikinci dönemi sona erince milletvekilliği son buldu. Ordu açığında 5 Aralık 1927 tarihinde "Müşir" rütbesine hazırken resmenresen emekliye sevk edildi. Bu dönemden sonra uzun bir süre siyasetten uzaklaştırılarak inzivaya çekilmek zorunda kaldı ve yönetimle olan anlaşmazlığı yüzünden sıkıyönetim altında tutulması istenen 84 kişilik "muhalifler" listesinin başında yer aldı.<ref>{{web kaynağı|url=http://www.milliyet.com.tr/Default.aspx?aType=YazarDetay&ArticleID=505152&AuthorID=62&ver=44|başlık=Bir de Karabekir’i okumak|yazar=Taha Akyol|tarih=14 Mart 2008|yayıncı=Milliyet|arşivtarihi=15 Nisan 2016|arşivurl=http://webcache.googleusercontent.com/search?q=cache:oYIY-8ivPnwJ:www.milliyet.com.tr/-/taha-akyol/siyaset/siyasetyazardetay/14.03.2008/505152/default.htm+&cd=1&hl=tr&ct=clnk&gl=tr}}</ref> 10 sene sürekli takip ve gözaltında tutuldu ve hatıralarını yazdığı "İstiklal Harbimiz" adlı eseri zamanın hükûmetinin kararıyla "[[Takrir-i Sükun]]" kanunu uyarınca toplatıldı. Belki de en sıkıntılı yıllarını bu dönemde geçirdi. [[Mustafa Kemal Atatürk|Atatürk]]'ün vefatının ardından 26 Ocak 1939 tarihinde İstanbul Milletvekili seçildi. 1943 yılında tekrar milletvekili seçildi ve 5 Ağustos 1946 tarihinde yapılan TBMM başkanlık seçimlerinde Meclis Başkanı seçildi. 26 Ocak 1948 tarihinde 66 yaşında iken geçirdiği bir kalp krizi sonucu [[Ankara]]'da öldü. Törenle [[Cebeci Askeri Şehitliği]]'ne defnedilen cenazesi sonraki yıllarda [[Devlet Mezarlığı]]'na nakledildi. 2010 yılının başında dönemin Genelkurmay Başkanı [[İlker Başbuğ]] Kâzım Karabekir'in ölüm yıl dönümünü ilk kez andı.<ref>{{web kaynağı|url=http://www.haber7.com/yazarlar/murat-yetkin/477357-genelkurmay-kazim-karabekiri-tarihten-bugune-tasirken|başlık=Genelkurmay, Kazım Karabekir'i tarihten bugüne taşırken|tarih=31 Ocak 2010|yayıncı=Haber7.com|arşivtarihi=15 Nisan 2016|arşivurl=http://www.haber7.com/yazarlar/murat-yetkin/477357-genelkurmay-kazim-karabekiri-tarihten-bugune-tasirken}}</ref>
[[Bulgarca]], [[Fransızca]], [[Almanca]] ve [[Rusça]] bilmekteydi.
