衛藤「乃木坂にいるときは心の余裕がなかった。辞めてよかった」