ТЕСТЕР СТРАТЕГИЙ. Расхождение результатов тестирования и оптимизации при одних и тех же входных параметрах.

Новый комментарий
 
Давно обратил внимание на непонятное нестабильное поведение тестера стратегий. Иногда (с чем это связано я до сих пор не понимаю) при прогоне советника с входными параметрами, полученными в результате оптимизации, тестер стратегий показывает результаты тестирования абсолютно неадекватные результатам оптимизации. Не совпадают все результаты (прибыль, просадка, кол-во сделок и т.д.), как будто бы в советник были переданы не те параметры, которые были найдены и отобраны в процессе оптимизации. Однако простой визуальный контроль параметров советника показывает, что входные параметры переносятся из соответствующей строки на вкладке "Результаты оптимизации" без ошибок. Перенос как обычно выполняется двойным щелчком левой кнопкой мыши, либо с использованием пункта меню "Установить входные параметры".

Логично было бы предположить одно из двух:

1) оптимизация была проведена корректно и ее результатам можно доверять, ошибки возникают во время тестирования.
2) оптимизация была проведена некорректно, ее результатам нельзя доверять, поэтому тестер и показывает непонятно какие результаты, не соответствующие результатам оптимизации.

Для себя я пока объясняю происходящее вторым вариантом, но вот почему оптимизация показывает некорректные результаты - вопрос...
Сначала я грешил на слабую технику, но после того как подобное поведение повторилось на мощном компьютере (8 ядер, 8 Гигов и т.п.) - вопрос остался открытым.

Прошу ответить знающих и/или посвященных - в чем причина такого поведения тестера стратегий:
оптимизатор говорит, что найденный им набор параметров прибыльный, а тестер говорит, что убыточный...
 
Вы ничего не написали про ошибки при тестировании
 
Нужны доказательства (сервер, настройки, эксперт, логи)
 
alexloz:
Нужны доказательства (сервер, настройки, эксперт, логи)
Тестер работает корректно. по крайней мере, перекосов, типа описанных выше, пока не наблюдал.
 
Vinin:
Вы ничего не написали про ошибки при тестировании
   Согласен, иначе получается необоснованное утверждение.
   Но поскольку такая ситуация с тестером проявляется нестабильно (не знаю, когда в следующий получу такую картину),
   то в следующий раз, как только замечу такое поведение тестера, обязательно выложу содержимое журнала.
 
Тоже замечено,  совпадает правда всё, но только не % Максимальная просадка,  при оптимизации показывает больший %, при одиночном прогоне с выбранными параметрами меньший, и это при одинаковой сумме просадки в $.  Для меня не критично, поэтому как то махнул на это.
 
Если спред выставлен "Текущий", а у текущего брокера он плавающий, то и каждое тестирование и оптимизация будут проходить при разных условиях кроме дней без торговли.
 
myzrov: в следующий раз, как только замечу такое поведение тестера, обязательно выложу содержимое журнала...

Следующий раз не заставил себя долго ждать....

Правда на этот раз оба результата (и оптимизации и тестирования) показывают прибыль, но это единственное, что их объединяет.
По всем показателям результаты оптимизации и тестирования  не совпадают (прибыль, кол-во сделок, просадка и др.)
Прикладываю файлы журнала, результаты оптимизации, результаты тестирования и set-файл.

Прошу прокомментировать эту ситуацию.
Файлы:
tester_vs_optimizator.zip  221 kb
 

Вам же сказали, что для повторяемости результатов тестирования нужно использовать фиксированный спред в настройках, а не текущий. Вы же используете текущий, который каждый раз при запуске тестирования может быть разным

0       21:35:22.426    TestGenerator: current spread 15 used
 
stringo:

Вам же сказали, что для повторяемости результатов тестирования нужно использовать фиксированный спред в настройках, а не текущий. Вы же используете текущий, который каждый раз при запуске тестирования может быть разным

Это все, что можно сказать по этому вопросу? Вообще-то речь шла не о повторяемости результатов тестирования - с повторяемостью как раз вопросов не возникает - каждый раз при запуске тестирование показывает стабильно одинаковые результаты на одном и том же set-е. Да, иногда при установке спреда на "текущий", расхождения возникают, но редко и они не меняют картины в целом, и такими расхождениями можно пренебречь.

Вопрос был о несоответствии результатов тестирования результатам оптимизации на одном и том же наборе параметров при торговле на крупном таймфрейме (D1)?
Да, при тестировании и при оптимизации спред был выставлен на "текущий". Или такое существенное расхождение в результатах также объясняется этой же причиной, что спред не был установлен на "фиксированный"? И это единственная и окончательная причина того, что результаты тестирования и результаты оптимизации периодически существенно различаются на одном и том же наборе параметров?

 

Вы уже как-то поднимали аналогичную тему https://www.mql5.com/ru/forum/132734

Существует некоторая разница между тестированием и оптимизацией. Вы читали статью "Особенности и ограничения тестирования торговых стратегий в MetaTrader4"?


Особенности работы оптимизатора торговых стратегий

  • В журнал логов ничего не выводится ( включая функцию Print() )

    Это сделано ради ускорения тестов и экономии пространства на диске. Если выводить полные логи, то файлы журналов нередко занимают сотни мегабайт.

  • Графические объекты реально не выставляются

    Объекты отключаются ради ускорения тестирования.

  • Используется функция "Пропустить бесполезные результаты"

    Чтобы не засорять таблицу и график результатов тестирования, используется возможность пропуска очень плохих результатов. Отключается в контекстном меню вкладки "Результаты оптимизации" -> "Пропустить бесполезные результаты".

                              

123
Новый комментарий