Mustafa Kemal’inKemal'in tavsiyesi üzerine siyasete girdi. [[Türkiye Büyük Millet Meclisi]]’nin'nin 3. döneminde [[Kocaeli]], 4. ve 7. dönemlerinde de [[Muş]] milletvekilliği yaptı. Vekilliği döneminde sanayiden öğretmenlere, milli savunmadan şehitlere kadar birçok farklı alandaki sorunların TBMM’de görüşülmesi teklifinde bulundu. Milletvekilliğinin getirdiği yoğun çalışma temposundan dolayı Hür Fikir gazetesini kapattı. Uzun yıllar TBMM Milli Eğitim Komisyonunda görev yaptı. 1945’te [[Necip Fazıl Kısakürek]] ile'le yazılı basın üzerinden üç ay süren tartışmaya girdi. 1946’da milletvekilliğinin sona ermesiyle siyasî hayatına son verdi.<ref name="aa"/>
Evli ve sekiz çocuğu olan Kılıçoğlu, 1960’ta vefat ettiöldü. [[İstanbul]] Sahrayı Cedit[[Sahrayıcedid mezarlığınaMezarlığı]]'na defnedildi.<ref name="aa"/>
