Форвард тестирование стратегий

 

Всем привет!

Уважаемые Разработчики, при отладки стратегии возникает потребность сравнивать результаты оптимизации на участке бек-периода с результатами форвард периода. Это очень важная информация, которая позволяет судить о робастности стратегии и визуализировать возможную переоптимизацию параметров. Поясню это на примере.

На рисунке хорошо виден участок (синий максимум) где параметры оптимизации оптимальны и он не совпадает с областью максимальных параметров на бек-тесте которые получены сортировкой по доходности прогонов. К сожалению, этот лакомый участок невозможно выявить используя данные из тестера стратегий, который отображает только 25% всех прогонов стратегии для форвард теста в области максимума бек теста (красным).

В связи  с этим у меня возникает вопрос: нет ли возможности в тестере отражать 100% всех проходов для форвард-теста, а не 10% или 25% как на данный момент реализовано?


 
Neutron:
На рисунке хорошо виден участок (синий максимум) где параметры оптимизации оптимальны и он не совпадает с областью максимальных параметров на бек-тесте которые получены сортировкой по доходности прогонов. К сожалению, этот лакомый участок невозможно выявить используя данные из тестера стратегий, который отображает только 25% всех прогонов стратегии для форвард теста в области максимума бек теста (красным).

А можно еще раз другими словами написать и на картинку добавить стрелочки и пояснения. А то как то не могу согласиться с тем, что:

На рисунке хорошо виден участок (синий максимум) где параметры оптимизации оптимальны и он не совпадает с областью максимальных параметров на бек-тесте которые получены сортировкой по доходности прогонов.


 

Можно, наверное...


Визуально видна область (синий эллипс), где на данных ценового ряда не участвовавших  в оптимизации достигаются максимальные результаты по доходности. Смею выдвинуть гипотезу, что данные параметры являются оптимальными в смысле "трейдерского счастья". Так же можно отметить область выделенную красным эллипсом, что соответствует числу и области данных отражаемых  в ворвард-тесте. Эти области могут не совпадать.

 

А каким образом на графике форвард-тестов появилась линия одиночного бекстеста красного цвета? И что она означает?
 

Каким-каким... Сохраняем в Екселе данные бек-тестирования. Сортируем их по полученной прибыли. Получаем столбец нулевому члену которого соответствует максимальная прибыль, а последнему - минимальная. Рисуем эти данные и получаем красную кривую. Далее, ставим в соответствие каждому прогону на бек-участке в соответствие прогон на форвард-участке с теми же параметрами. Получаем синюю кривую. Всё.

Правда для этого нужно иметь  в наличии все прогоны для форвард-участка. Это то, о чём я и говорю. Их нет в полном объёме, максимум 25%, что печально.

 

Лучше будет, если Вы добровольно и полностью распишите технологию. Пытать не особо получается :(

Я, конечно, догадываюсь примерно, но тут какие-то подмены понятий и ненужные надписи сбивают с толку.

 
Neutron:


Правда для этого нужно иметь  в наличии все прогоны для форвард-участка. Это то, о чём я и говорю. Их нет в полном объёме, максимум 25%, что печально.

Да, но оставшиеся 75 процентов хуже отобранных 25 процентов. Тогда уж отбирать не первые 25 процентов, а тех, кто не сильно хуже самых лучших результатов.

Плохие результаты, показанные на основном тестировании, нет смысла рассматривать

 
stringo:

Да, но оставшиеся 75 процентов хуже отобранных 25 процентов. Тогда уж отбирать не первые 25 процентов, а тех, кто не сильно хуже самых лучших результатов.

Плохие результаты, показанные на основном тестировании, нет смысла рассматривать

Вы априорно предполагаете, что лучшим результатам тестирования на истории будут соответствовать лучшие результаты в будущем (сразу за участком оптимизации в области 25%). Это заблуждение. Истина в том, что лучшие результаты на истории большей частью обязаны своим существованием простой подгонке параметров оптимизации стратегии и лишь частично, выявлению скрытых закономерностей в ценовом ряде. Важно то, что переоптимизацию можно выявить сравнивая прогностические способности стратегии при работе на участке не принимавшем участия в оптимизации. Именно этот факт я и показал наглядно на картинке. Максимум может лежать и заметно правее 25%, это зависит от конкретных ценовых рядов и стратегии.

Итак. Ценность представляют не те параметры, что получены при самой высокой доходности на бэк-участке, те, что получены на форварде. Для этого нужно анализировать все прогоны форварда, а не 25% соответствующих максимуму бек-теста.

 
А самым лучшим подарком от метаквотов было бы увиличение форвардных периодов тестирования.
 
07041982:
А самым лучшим подарком от метаквотов было бы увиличение форвардных периодов тестирования.

Неужели 1/2 мало? Рынок изменчив... Стоит ли тратить время и ресурсы на изучение того, что уже изменилось?

Кстати. Вот результаты прогона ТС построенной на комбинации распространённых индикаторов:

Хорошо видно что на участке оптимизации, можно достичь космических результатов, а на форварде (с теми же параметрами) - случайное блуждание и слив. Это говорит о том, что стандартные индикаторы и их комбинации, практически не выявляют закономерностей в ценовых рядах. С тем же успехом можно подбрасывать монетку и/или открывать позиции по фазам луны.

 
stringo:

Да, но оставшиеся 75 процентов хуже отобранных 25 процентов. Тогда уж отбирать не первые 25 процентов, а тех, кто не сильно хуже самых лучших результатов.

Плохие результаты, показанные на основном тестировании, нет смысла рассматривать

Вынужден с Вами не согласится. Довольно часто плохим результатам бэк-теста соответствуют удоветворительные результаты форвард-теста. И наоборот. В данном случае полностью поддерживаю просьбу топикстартера: как опцию включить в тестер прогон форвард-теста по всем параметрам бэк-теста.