立憲民主党議員、岸田総理に高市大臣の罷免求めるも、岸田総理「あまりに論理が飛躍している」と罷免を否定