小沢氏、野党共闘について「3年でできないのに、この1カ月でできるのか」泉代表連日の会談には「今、慌てて食事してどうなるわけでもない」