1930年(昭和5年)の
ロンドン海軍軍縮条約の
批准問題では、条約反対を唱えて
浜口内閣倒閣を図るが、
元老西園寺公望や
内大臣牧野伸顕、更に
昭和天皇までが内閣擁護の姿勢を見せたためにその圧力に屈した。その後も政党内閣や国際協調には否定的で、
満州事変や
五・一五事件などの
軍部の暴走に対しても軍部に同情的な姿勢を見せた。だが、昭和天皇の信任が揺らいだ事で自信を失い、
1934年(昭和9年)に眼病を理由に平沼を後継に推して議長を辞任した。だが、西園寺は倉富・平沼が軍部に心理的なバックアップを与えているとして反感を抱いており、後任に
一木喜徳郎を推挙して任命にこぎつけた。これに憤慨した倉富は
前官待遇を受けたにも拘らず、故郷に引き籠もって隠居生活に入る。だが、
太平洋戦争敗戦後は病気勝ちとなりそれが理由で
戦争犯罪容疑の追及は免れたものの、失意のうちに96歳で病死した。
