Форвард хуже бэктеста - насколько допустимо!? - страница 3
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
А как назвать ситуацию, когда бэктест ХУЖЕ форарда?
Мне кажется, эта цикличность является случайной величиной, и предсказывать её бесполезно. У нас есть цепочка: оптимизация - форвард - оптимизация - форвард - и т.д. На каждом форварде у нас могут быть совершенно разные параметры системы. По сути можно даже сказать, что перед нами уже совсем другая система. Т.е. мы постоянно перескакиваем с одной системы на другую. Есть ли смысл пытаться прогнозировать цикличность результатов это чехарды... Я не вижу смысла. Каждое соотношение бэка и форварда будет получено при разных параметрах. Так о каком сравнении можно говорить...
Прекрасно. Значит, фаз с меньшими номерами должно быть минимум две Периодичность равна частоте форвардов. И сколько тогда надо замеров вообще для достоверности?
С какого перепугу? Нулевая гармоника - это вообще среднеарифметическое. Первая гармоника зачастую не видна за остальными.
Периодичность равна частоте форвардов.
С какого перепугу? Периодичность должна соответствовать цикличности. Частоты - это гармоники внутри периода.
Paragormon:
И сколько тогда надо замеров вообще для достоверности?
Четко сформулируйте функцию удачи:
Удача = f(t), где t - время
После чего достаточно всего лишь один раз глянуть на график функции, чтобы удостовериться, что функция циклична. Например, кардиологи запросто визуально определяют аритмию. Смотрят на кардиограмму и если цикличность нарушена, значит имеет место аритмия.
Т.е. тут большого ума не надо, если есть готовый график функции. Проблема в том, как удачу представить в виде функции от времени. Ведь цикличные процессы не случайны, а удача случайна по определению. Т.е. удача должна соответствовать распределению Пуассона, если все события разложить на два взаимоисключающих исхода при наличии эргодичности: удачные и неудачные. Или не соответствовать никаким распределениям, если она неэргодична.
Во-первых мне не очень понятно погрешность чего нужно выявить, чтобы сравнить с ним отношение бэка и форварда.И с чего вдруг. Собственно, об этом и топик. Погрешность -это стат расхождение, ошибка как минимум двух стат рядов. Один ряд есть. А второй-это что? Погрешность нашего моделирования? Т.е. тест на тиках вы предлагаете сравнивать с тестом на минутках? Тест на минутках с реальной историей торгов?Но брокеры могут нас подвинуть, как правильно тут заметили, в обе стороны и это как раз то,что от советника не зависит и что мало имеет смысла обсуждать и тем более моделировать. Во-вторых суть оптимизации в том и состоит, что мы берем часть истории и обучаем наш советник на ее данных, просто особенность его обучения в том, что он, как правило, не имеет долговременной памяти (что, кстати, чаще хорошо, но иногда плохо). Т.е. ЛЮБОЙ результат-это проявление хоть какой-нибудь, но закономерности. И если мы не выявили превалирующей или нужной нам закономерности, то при чем тут погрешность? И вообще непонятно при чем тут подгонка. Форвард -он по определению для советника новость, это на бэке для него вечный день сурка. Т.е. обучающая подгонка параметров под историю, актуализация параметров и, если надо, изменение кода-это и есть суть оптимизации. Просто по той причине, что ничего достовернее истории у нас нет. Бэктест же-это проверка, насколько она прошла удачно. Просто у меня есть гипотеза, что степень этой удачности, не хаотична, а циклична и, следовательно, это уже адаптивность и ее можно попытаться померить, вот и все. Надеялся, что сообщество накопило на эту тему данные. Похоже, не очень накопило.-(
Про рыночные параметры и проверку на стабильность вообще ничего не понял чем это лучше оптимизации. Оптимизатор так и делает -померил-поменял, померил- поменял. И вообще не понял что такое рыночный параметр, в каких килограммах он измеряется и в каких разных окнах он водится.
Берется N бек тестов, находится процентное отклонение прибылей друг от друга. Если форвард попадает в это отклонение, то он верный, если он хуже, или лучше, значит он не заслуживает доверия. Это и будет погрешность оптимизации.
Второе, оптимизация это слепой перебор параметров. Если вы создаете торговую стратегию, вы знаете, на каких закономерностях она базируется. Если вы знаете закономерности и знаете ,что они меняются, то эти параметры и нужно измерять, для того ,чтобы подставлять в настройки. Возьмем примитивнийший пример. Есть RCI, знаем, что когда он оказывается выше 90, цена разворачивается и на этом совершаем сделку. Но периодически приходится подгонять параметр, то 70, до 95. Так возьмем окно, за 1000 баров, найдем уровень, на котором максимальный процент разворотов и подставим его в настройках. Теперь мы точно знаем ,что с величиной 73, у нас будет 90% прибыльных сделок. Это хорошо, но нужно еще найти, а насколько это стабильно. Возьмем еще одно окно в 1000 баров и сравним, насколько процент верных разворотов стал меньше или больше. Так взяв несколько окон ,можно будет судить о том, насколько быстро меняется эта закономерность и можно ли ей доверять. Теперь можно принимать решение о том, насколько эта стратегия прибыльная. Совершенно не обязательно все оптимизировать и надеяться, что на форварде будет + Можно заранее просчитать, какой результат будет на форварде и с какой вероятностью. Но это примитивный пример, со сложными примерами работать интереснее.
Берется N бек тестов, находится процентное отклонение прибылей друг от друга. Если форвард попадает в это отклонение, то он верный, если он хуже, или лучше, значит он не заслуживает доверия. Это и будет погрешность оптимизации.
Это бред. Все вопрос вероятностей, нельзя отсеивать форвард только из-за того что он не подходит по параметрам.
Это не бред, а всего лишь рабочая гипотеза, которая требует проверки.
ИМХО адекватнее таким образом отсеивать не форварды, а результаты на обучающей выборке. В таком случае, переобучение и недообучение будет исключено. Хотя, конечно же мы рискуем выплеснуть и "младенца", но лучше перестраховаться, нежели опростоволоситься.
А мне, вот почему-то кажется, что величина это не случайная и, похоже, придется собрать статистику, раз назвался груздем.-)
Действительно, со статистики и нужно было начинать. А то получается спор, основанный лишь на фантазиях. Для начала обнаружьте эти закономерности (цикличность), тогда уже можно будет от чего-то плясать. Но как по мне, это крайне маловероятно.
Если в форварде нашлись какие-то закономерности, то значит их можно было выявить ещё на этапе оптимизации. Т.е. надо дорабатывать ТС. Вот взять допустим описанный вами вариант, когда несколько месяцев форвард хороший, потом несколько месяцев плохой, и потом заново... Это означает что присутствует цикличность в самой ТС. И её можно было выявить при оптимизации, добавив дополнительный параметр - период цикличности (т.е. период времени, когда система торгует, а потом не торгует). В итоге ты получишь более хороший форвард, и уже не цикличный.
В общем прогнозирование форварда - это масло масляное. Лучше работать с причинами, первоисточниками. А форвард - это следствие.