Достаточность выборки - страница 2
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Вот только с точки зрения статистики очень желательно, что бы все сделки был совершенны назависимо друг от друга, не влияли друг на друга. и в сопоставимых условиях, что означает что в одно и тоже время, что не возможно на форексе.
Тестирование независимости последовательности сделок тоже важно, но это выходит за рамки заданные исходным постом.
В условии задачи неявно предполагается, что рыночные условия стационарны, и на бесконечном промежутке времени они не меняются, что ошибочно.
Для стационарных условий число необходимых сделок вычисляется стандартными методами статистики. Увы, это бесполезное решение - рынок нестационарен.
Если не ошибся где-нибудь, то:
при значимости 95%
В исходном варианте (не менее 40%): 240 сделок
В подправленном варианте (не менее 40% и не более 60%): 1590 сделок
при значимости 90%
В исходном варианте (не менее 40%): 65 сделок
В подправленном варианте (не менее 40% и не более 60%): 175 сделок
при значимости 80%
В исходном варианте (не менее 40%): 5 сделок
В подправленном варианте (не менее 40% и не более 60%): 55 сделок
Результат сильно разошёлся с моим, особенно первый, значит интересно разобраться где же верно)
Я решал путём вычисления кол-ва исходов, попадающих в диапазон (40-60% положит сделок с вероятностью успешности каждой в 50%) к общему числу возможных исходов. Т.е. по формулам комбинаторики (с учётом вероятности успешности каждой)
Заметил что я округлял кол-во сделок, попадающее в диапазон "с перекосом" для упрощения, в этом скорее всего расхождение и получилось как минимум. Но даже не думал что такая разница от этого м.б. 100 и 1590. Проверю.
В условии задачи неявно предполагается, что рыночные условия стационарны, и на бесконечном промежутке времени они не меняются, что ошибочно.
Для стационарных условий число необходимых сделок вычисляется стандартными методами статистики. Увы, это бесполезное решение - рынок нестационарен.
А если взглянуть на задачу вот так - вы разработали ТС, и считаете что она основывается на закономерностях, которые не меняются в обозримом прошлом-будущем. Но может быть рез-тат бэк-теста получился случайно-подгонкой и т.п.
Это кол-во сделок, которое позволит вам на форварде с заданной точностью исключить хотя бы подгонку. Но успешное прохождение форварда конечно ещё не говорит что ТС действительно нашла закономерности.
Т.е. я хотел показать-проверить, что некоторые форварды вообще не имеют смысла в общем случае, когда кол-во сделок ниже порога.
Результат сильно разошёлся с моим, особенно первый, значит интересно разобраться где же верно)
Я решал путём вычисления кол-ва исходов, попадающих в диапазон (40-60% положит сделок с вероятностью успешности каждой в 50%) к общему числу возможных исходов. Т.е. по формулам комбинаторики (с учётом вероятности успешности каждой)
Заметил что я округлял кол-во сделок, попадающее в диапазон "с перекосом" для упрощения, в этом скорее всего расхождение и получилось как минимум. Но даже не думал что такая разница от этого м.б. 100 и 1590. Проверю.
Всё из-за существенной зависимости от размера тестовой выборки. Очевидно, для значимости в 95% она должна быть существенно больше.
Применение гипергеометрического распределения - это и есть точный комбинаторный метод.
В условии задачи неявно предполагается, что рыночные условия стационарны, и на бесконечном промежутке времени они не меняются, что ошибочно.
Для стационарных условий число необходимых сделок вычисляется стандартными методами статистики. Увы, это бесполезное решение - рынок нестационарен.
Тестирование стационарности весьма важно (один из подходов - задача о разладке), но это выходит за рамки заданные исходным постом.
А если взглянуть на задачу вот так - вы разработали ТС, и считаете что она основывается на закономерностях, которые не меняются в обозримом прошлом-будущем. Но может быть рез-тат бэк-теста получился случайно-подгонкой и т.п.
Это кол-во сделок, которое позволит вам на форварде с заданной точностью исключить хотя бы подгонку. Но успешное прохождение форварда конечно ещё не говорит что ТС действительно нашла закономерности.
Т.е. я хотел показать-проверить, что некоторые форварды вообще не имеют смысла в общем случае, когда кол-во сделок ниже порога.
Так как же можно "считать, что они не меняются в обозримом будущем" ? Это же и есть "камень преткновения" ! Мы видим, что до текущего момента существовала некоторая закономерность, которая позволяет получать прибыль. Но необходимо понимать, что в любой момент эта закономерность может перестать работать.
И насчет "исключить подгонку" - что подразумевается под этим ? Любое испытание в прошлом - уже есть подгонка. И разница лишь в числе "степеней свободы". Чем больше мы вводим условий в нашу стратегию, тем быстрее и с большей вероятностью система перестанет работать. Но, в любом случае, мы имеем "подгонку на истории". Форвард-тест, фактически является просто частью подгонки, в которой мы отсеиваем некоторые степени свободы системы. Тем самым оставляя более стабильные варианты, однако, о стационарности и здесь речь идти не может.
Поэтому, на мой взгляд, вполне достаточно оптимизации где-то на периоде год-два, чтобы число сделок было от пятидесяти до трехсот, и заморачиваться с точными значениями - не имеет смысла.
Так как же можно "считать, что они не меняются в обозримом будущем" ? Это же и есть "камень преткновения" ! Мы видим, что до текущего момента существовала некоторая закономерность, которая позволяет получать прибыль. Но необходимо понимать, что в любой момент эта закономерность может перестать работать.
И насчет "исключить подгонку" - что подразумевается под этим ? Любое испытание в прошлом - уже есть подгонка. И разница лишь в числе "степеней свободы". Чем больше мы вводим условий в нашу стратегию, тем быстрее и с большей вероятностью система перестанет работать. Но, в любом случае, мы имеем "подгонку на истории". Форвард-тест, фактически является просто частью подгонки, в которой мы отсеиваем некоторые степени свободы системы. Тем самым оставляя более стабильные варианты, однако, о стационарности и здесь речь идти не может.
Поэтому, на мой взгляд, вполне достаточно оптимизации где-то на периоде год-два, чтобы число сделок было от пятидесяти до трехсот, и заморачиваться с точными значениями - не имеет смысла.
Вы всё верно говорите, и думаю все это понимают.
Посыл моей задачи не в том чтобы понять как сделать идеальную-прибыльную ТС, а чтобы люди отдавали себе отчёт в том, что есть некий предел достоверности форварда, измеряемый количеством значащих действий- сделок, и ниже его форвард вообще не имеет смысла, потому что ДАЖЕ ЕСЛИ ЗАКОНОМЕРНОСТИ НЕ ИЗМЕНЯТСЯ, то форвард даст результат не достаточно достоверный.
Приведённая задача упрощена и наипростейша. В реальности практически всё связано со всем, % прибыльных сделок может меняться для одной и той же стратегии, и вообще стратегия может быть адаптивная что там зависимости даже 3-х параметров уже очень сложны и т.д.
В итоге если обобщить то закрадывается вопрос - а нужен ли вообще форвард )
Ребята вы затронули достаточно филосовскую тему, которая будоражит умы на всём протяжении существования ИИ. Думаю правильней было бы в этом вопросе опереться на практические изискания. Исходя исключительно из своего опыта делаю выборку 1 к 4 тирэ 1 к 5 тренировки и ООС, где доверительный интервал уже самой работы системы не больше половины ООС. То есть: 40 сигналов на обучение 10 на ООС и 5-6 рабочих сигналов по которым нужно работать. Причём рекомендую ООС делать перед тестовым интервалом. Тоесть временной порядок участком такой ООС+ТЕСТ+Работа. Многие меняют тренировку и ООС местами но это не правильно. ООС предназначен нам ответить насколько модель адекватна рынку и важно её оценить перед участком тренировки, так как сразу после обучения вы проверяете её на ООС, получаете результат и начинаете работать по модели сразу же после обучения. Не теряя драгоценные знания модели на проверку. Если модель адекватна то она это покажет и перед участком тренировки. ИМХО естественно!!!
У вас ТЕСТ = ОБУЧЕНИЕ, а то не совсем ясно? 40 -10 - 5 - это реальные ваши цифры? Тогда такое кол-во сделок на обучении и ООС вообще ни о чём. Если система недостаточно устойчива, ей регулярное ре-обучение не поможет ведь. Если устойчива, то статистически такие размеры выборки как у вас смысла не имеют. Проще обучить на гораздо большей выборке, проверить тоже на большей, и не заниматься регулярной ре-оптимизацией. Не согласны? Аргументы..
У вас ТЕСТ = ОБУЧЕНИЕ, а то не совсем ясно? 40 -10 - 5 - это реальные ваши цифры? Тогда такое кол-во сделок на обучении и ООС вообще ни о чём. Если система недостаточно устойчива, ей регулярное ре-обучение не поможет ведь. Если устойчива, то статистически такие размеры выборки как у вас смысла не имеют. Проще обучить на гораздо большей выборке, проверить тоже на большей, и не заниматься регулярной ре-оптимизацией. Не согласны? Аргументы..
К сожалению регулярная пере оптимизация это единственная защита от скоротечно меняющегося рынка когда в основе системы лежит статичный полином 40 сделок условно это примерно 1-2 месяца на М15. При такой обучающей выборки хватит 10 сделок на ООС что бы понять насколько модель адекватна рынку ну и от 5 и до 10 сделок рабочих поверьте вполне достаточно заработать, если учесть что это примерно неделя по времени. Раз в неделю делать оптимизацию самое оно. Просто Вы не понимаете суть игры. Устойчивость должна быть не в системе а в результате получаемых оптимизаций. Если вы стабильно получаете пусть и не долговечные но хорошие модели то это успех. К сожалению в мире не существует устойчивых систем по отношению к рынку по принципу поставил и забыл. Единственно что могут быть адаптивные системы которые и будут работать незначительно дольше систем опирающихся на статичные параметры, но преимущество это спорно. НО тут ведь вот какой нюанс. Когда у вас есть стратегия, которая имперически способна проработать 100 сделок и Вы это знаете, Вы видили это уже не раз. Так вот начиная работать по ней вы будете всё равно стоять перед выбором. Просадка это или уже начался слив и поверьте угадать это будет не просто. То есть продолжать по ней работать дальше, ведь всего лишь 25 сделка идёт или уже пора переоптимизировать. И веря в эту цифру 100 можете стать заложником, потому что именно на этой оптимизации на которой вы решили доверить ей свои кровные она проработала всего лишь 25 сделок и дальше ни в какую. То ли дело у меня. Я чётко знаю что больше 5-6 сделок ей лучше не доверять и по сути вся работа сводится не к статистике каждой сделки, а к статистики серии. Прибыльная была эта серия или нет. Естественно минус такого подхода в том что нужно в 95% случаях получать хорошую модель выбрав её из тысячи, но тут важна метода ибо помните что не важен сам полином, а важен метод его получения, где 5-6 рабочих сделок это статистика а всё что выше просто удача и для систем с потенциально большим количеством доверительных сделок даже для адаптивных систем. Просто когда такая система начнёт просаживатся Вы никогда не узнаете просадка это всего лишь или настройкам уже каюк.
При увеличении обучающей выборки качество обучения резко падает и есть определённый порог качества к которому лучше не приближаться, но и маленькая выборка то же не есть гуд поэтому приходится балансировать, как то так.....