明治23年(
1890年)第1回総選挙で三重県選挙区より出馬し当選、以後63年間に及ぶ連続25回当選という記録をつくる。その後、
進歩党・
憲政党に属した。この間
第2次松方内閣において外務大臣に就任した大隈の推挙で外務
参事官に就任するが、大隈と首相の
松方正義が対立するとともに辞任した。明治31年(
1898年)、
第1次大隈内閣において40歳の若さで
文部大臣に就任するも、
共和演説事件で文相を辞任し、その後任を巡って憲政党は分裂、大隈内閣も総辞職した。その後、
憲政本党に属していたが、
伊藤博文の
立憲政友会結成に呼応して憲政本党を離脱して政友会入りするが、その後伊藤とも対立して離党、その後
猶興会などを経て政友会に復党とめまぐるしく所属政党を変遷する。