Достаточность выборки
Внимание - Очень грубая модель. Куча допущений. Высокообразованным но при этом слабонервным не читать ) шутка)
Как проверить стратегию на переобученность, или по другому как проверить устойчивая ли стратегия на OOS или подогнана.
Допустим вы оптимизировали свою стратегию и получили устраивающий результат. Замечу что оптимизация здесь подразумевается не столько перебор параметров , сколько всеобщая оптимизация путем анализа и нахождения обобщающих правил.
Допустим стратегия простейшая. Жесткие SL, TP 1/4, позиции держатся до упора. Результат вас устроил 50% положит. сделок на истории 10 лет. всего сделок 100.
Допустим что рынок на IS и OOS не поменял свои закономерности, на основе которых вы строили стратегию - это вот ключевое допущение, в реальности всё сложнее, но надо же от чего то отталкиваться.
Из этих допущений полагаем, что на бесконечно большой OOS ваша стратегия (если она не подогнана) показывает такой же результат c погрешностью не более 10%. Т.е. вас устроит 40% положительных сделок при тех же SL, TP на бесконечной OOS (реальной торговле)
Формулировка задачи: сколько сделок надо совершить по этой стратегии на OOS чтобы с 95% вероятностью расхождение показателя % положит.сделок этой OOS с бесконечной OOS не превысило заданную погрешность в 10%.
Ответ и Решение полагаю будет интересен всем.
Внимание - Очень грубая модель. Куча допущений. Высокообразованным но при этом слабонервным не читать ) шутка)
Как проверить стратегию на переобученность, или по другому как проверить устойчивая ли стратегия на OOS или подогнана.
Допустим вы оптимизировали свою стратегию и получили устраивающий результат. Замечу что оптимизация здесь подразумевается не столько перебор параметров , сколько всеобщая оптимизация путем анализа и нахождения обобщающих правил.
Допустим стратегия простейшая. Жесткие SL, TP 1/4, позиции держатся до упора. Результат вас устроил 50% положит. сделок на истории 10 лет. всего сделок 100.
Допустим что рынок на IS и OOS не поменял свои закономерности, на основе которых вы строили стратегию - это вот ключевое допущение, в реальности всё сложнее, но надо же от чего то отталкиваться.
Из этих допущений полагаем, что на бесконечно большой OOS ваша стратегия (если она не подогнана) показывает такой же результат c погрешностью не более 10%. Т.е. вас устроит 40% положительных сделок при тех же SL, TP на бесконечной OOS (реальной торговле)
Формулировка задачи: сколько сделок надо совершить по этой стратегии на OOS чтобы с 95% вероятностью расхождение показателя % положит.сделок этой OOS с бесконечной OOS не превысило заданную погрешность в 10%.
Ответ и Решение полагаю будет интересен всем.
На первый взгляд, решается подбором одного из параметров гипергеометрического распределения.
Вопрос не верен и на него нельзя дать ответ правильный. Тут надо по другому размышлять. Мы построили алгоритм, который получает профит не зависимо от входных данных. Но модель не до конца проработана и мы не можем сразу установить правильные настройки. В таком случае мы оптимизируем настройки самого алгоритма, чтобы он работал оптимально на любых данных (с некоторыми допущениями). То есть нам надо настроить именно алгоритм. Не подогнать настройки под конкретный ценовой ряд. Если подгонять настройки под ценовой ряд, слив гарантирован.
1. Не согласен. 2. И КАК же это сделать? Если это возможно, тогда может и не надо никаких OOS-тестов? )
1. Не согласен. 2. И КАК же это сделать? Если это возможно, тогда может и не надо никаких OOS-тестов? )
На первый взгляд, решается подбором одного из параметров гипергеометрического распределения.
Такого умного слова не знаю, но скорее всего вы знаете о чём говорите и имеется ввиду один из возможных способов решений.
По моему расчёту Ответ в приведённом мной примере = 100 сделок. т.е. при меньшем количестве сделок существует более 5% вероятности, что ТС покажет результат,
отличающийся от своего показателя по % положит.сделок на бесконечной выборке (50%) более чем на 10% (т.е. менее 40% и более 60%)
Отмечу, что плохо как и то что ТС покажет результат лучше (оцениваемые риски будут занижены по сравнению с реальностью), так и если рез-тат хуже (ложный отсев хороших ТС)
Интересно, что если % положит.сделок например 80%, то для той же точности (70-90) достаточно 60 сделок OOS.
А если точность интересует не 95 а 80%, то достаточно 45 и 20 сделок соответственно.
Такого умного слова не знаю, но скорее всего вы знаете о чём говорите и имеется ввиду один из возможных способов решений.
По моему расчёту Ответ в приведённом мной примере = 100 сделок. т.е. при меньшем количестве сделок существует более 5% вероятности, что ТС покажет результат,
отличающийся от своего показателя по % положит.сделок на бесконечной выборке (50%) более чем на 10% (т.е. менее 40% и более 60%)
Отмечу, что плохо как и то что ТС покажет результат лучше (оцениваемые риски будут занижены по сравнению с реальностью), так и если рез-тат хуже (ложный отсев хороших ТС)
Интересно, что если % положит.сделок например 80%, то для той же точности (70-90) достаточно 60 сделок OOS.
А если точность интересует не 95 а 80%, то достаточно 45 и 20 сделок соответственно.
Нет, речь о точном решении задачи. Прочие методы могут быть верны лишь в приближённом (асимптотическом) смысле - для понимания смысла этого утверждения можно почитать про точный тест Фишера.
Нет, речь о точном решении задачи. Прочие методы могут быть верны лишь в приближённом (асимптотическом) смысле - для понимания смысла этого утверждения можно почитать про точный тест Фишера.
Если не ошибся где-нибудь, то:
при значимости 95%
В исходном варианте (не менее 40%): 240 сделок
В подправленном варианте (не менее 40% и не более 60%): 1590 сделок
при значимости 90%
В исходном варианте (не менее 40%): 65 сделок
В подправленном варианте (не менее 40% и не более 60%): 175 сделок
при значимости 80%
В исходном варианте (не менее 40%): 5 сделок
В подправленном варианте (не менее 40% и не более 60%): 55 сделок
Более осмысленной кажется следующая постановка задачи:
В результате торговли получилось n сделок k из которых прибыльные. Соответствует ли это тестовому результату на заданном уровне значимости? Грубо говоря, если у нас получится 10 сделок, которые все убыточны, то скорее всего мы просто перестанем торговать по этой системе, а не будем доводить число сделок до "необходимого по теории". Эта задача решается посредством точного теста Фишера.
Ещё более осмысленной будет задача на определение положительности матожидания на заданном уровне значимости. Она даже проще и решается через биномиальное распределение.
Если не ошибся где-нибудь, то:
при значимости 95%
В исходном варианте (не менее 40%): 240 сделок
В подправленном варианте (не менее 40% и не более 60%): 1590 сделок
при значимости 90%
В исходном варианте (не менее 40%): 65 сделок
В подправленном варианте (не менее 40% и не более 60%): 175 сделок
при значимости 80%
В исходном варианте (не менее 40%): 5 сделок
В подправленном варианте (не менее 40% и не более 60%): 55 сделок
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Вы принимаете политику сайта и условия использования
Внимание - Очень грубая модель. Куча допущений. Высокообразованным но при этом слабонервным не читать ) шутка)
Как проверить стратегию на переобученность, или по другому как проверить устойчивая ли стратегия на OOS или подогнана.
Допустим вы оптимизировали свою стратегию и получили устраивающий результат. Замечу что оптимизация здесь подразумевается не столько перебор параметров , сколько всеобщая оптимизация путем анализа и нахождения обобщающих правил.
Допустим стратегия простейшая. Жесткие SL, TP 1/4, позиции держатся до упора. Результат вас устроил 50% положит. сделок на истории 10 лет. всего сделок 100.
Допустим что рынок на IS и OOS не поменял свои закономерности, на основе которых вы строили стратегию - это вот ключевое допущение, в реальности всё сложнее, но надо же от чего то отталкиваться.
Из этих допущений полагаем, что на бесконечно большой OOS ваша стратегия (если она не подогнана) показывает такой же результат c погрешностью не более 10%. Т.е. вас устроит 40% положительных сделок при тех же SL, TP на бесконечной OOS (реальной торговле)
Формулировка задачи: сколько сделок надо совершить по этой стратегии на OOS чтобы с 95% вероятностью расхождение показателя % положит.сделок этой OOS с бесконечной OOS не превысило заданную погрешность в 10%.
Ответ и Решение полагаю будет интересен всем.