Противоречивые данные в тестере стратегий:

 
Здравствуйте:
Тестер запускаю со следующей конфигурацией настроек:


1) Если выставлять в выборе периода всю историю или допустим начиная с 2005 года(на минутном тике. На других пока не пробовал.)
- то после перебора 1-2 лет данных - операция по тестирования начинает зависать!
(Пробовал оставлять комп на ночь и тестирование не продвинулось ни на йоту.)

2) Далее попробовал оптимизацию по всем инструментам которые должны быть в окне обзора рынка:



а) Количество инструментов в результате оптимизации не соответствует количеству инструментов в обзоре рынка.
(их там намного больше у меня находится. Порядка 40-ка.)

б) Результаты данной оптимизации не сходятся с тем, если тестировать инструменты по одиночке.
(Это при условии если графу результат считать "средствами после тестирования."
возможно это не так и эта графа что то другое означает?)

в) Не понятно что означают остальные параметры.
Например кол-во трейдов. Если имеется ввиду суммарное кол-во - то это опять же несоответствие.
(Где можно подробно почитать об этих параметрах?)


3) Насколько качественной являются проверки подобного характера?

а) Читал что исторические данные могут быть не полными, могут быть пробелы(дыры) в истории.
(Так ли это и если да то как это можно обойти?)

б) Сохраняются ли реальные спреды на истории?
(или это все генерируется от фонарного столба?)

в) как понять на какой период можно тестировать тот или иной инструмент у того или иного ДЦ?
(если при тестировании на длительные периоды весь этот процесс просто зависает.)
Если методом тыка проверять - то это очень много времени необходимо тратить на рутину.

4) Почему на форвард тестах результат прибыли получается в 10 раз(+-) меньше чем при обычном тестировании?
(читал, что там как то вычленяется история во время процесса - но деталей выяснить не удалось..)

5) Можно ли как то ускорить процесс тестирования стратегии на истории?
(дополнительное ядро активировать в компе, облачный сервис подключить к анализу истории или ещё что то в этом роде?)

P.S. Буду благодарен за любые ответы по данным направлениям.
 

Mike_Kharkov:
Здравствуйте:
Тестер запускаю со следующей конфигурацией настроек:


1) Если выставлять в выборе периода всю историю или допустим начиная с 2005 года(на минутном тике. На других пока не пробовал.)
- то после перебора 1-2 лет данных - операция по тестирования начинает зависать!
(Пробовал оставлять комп на ночь и тестирование не продвинулось ни на йоту.)

2) Далее попробовал оптимизацию по всем инструментам которые должны быть в окне обзора рынка:



а) Количество инструментов в результате оптимизации не соответствует количеству инструментов в обзоре рынка.
(их там намного больше у меня находится. Порядка 40-ка.)
...

Нет ли сообщений в журнале о недостатке дискового пространства?

При тестировании больших периодов на маленьком таймфрейме создаются временные файлы огромного размера (десятки гигабайт).

 

 
Ashes:

Нет ли сообщений в журнале о недостатке дискового пространства?

При тестировании больших периодов на маленьком таймфрейме создаются временные файлы огромного размера (десятки гигабайт).

 

   Нет. Ещё 12 гектар есть в запасе во время тестирования.
   P.S. Иногда прямо сразу после начала тестрования начинаются тормоза.
   Пока что похоже что это от участка истории зависит..
 
Mike_Kharkov:
   Нет. Ещё 12 гектар есть в запасе во время тестирования.
   P.S. Иногда прямо сразу после начала тестрования начинаются тормоза.
   Пока что похоже что это от участка истории зависит..
Покажите лог.
 

Отвечу на некоторые вопросы. У вас стоит оптимизация по кастом-параметру. Он и есть - Результат (в таблице). Что там у вас в кастом параметре (возвращаемом из эксперта в тестировщик) зашито - знаете только вы.

В таблице, скорее всего, выводятся только те прогоны, на которых Результат неотрицательный. Так что там и не должен быть полный список инструментов из обзора рынка.

Про количество трейдов приведите пример - отчет тестирования для какой-нибудь строки из таблицы оптимизации и чтобы было видно, что количество трейдов не соответствует. Скорее всего, вы путаете трейды с чем-то еще.

Чтобы не было дыр в истории вы должны это проверить и перезакачать историю, если они есть - к сожалению софт не абсолютно надежная штука.

Спреды в истории не хранятся (по крайней мере раньше так было).

Соотношение прибыли в прошлом периоде и при форвард-тестировании нигде не оговорено. Но обычно на форварде оно меньше, потому что это уже "будущий" период по отношению к тому, где проводилась оптимизация, и рынок там меняется. Кроме того, форвард обычно заметно короче периода оптимизации, меньше количество сделок, и соответственно меньше суммы.

 
marketeer:
Покажите лог.
   https://yadi.sk/i/0qxMfSbYYmWpK

   https://yadi.sk/i/tnoLmGqaYmX4D

   https://yadi.sk/i/aq5n8CPJYmXCx

   Вот на этом этапе я по сути начал тестирование и дальше оно либо зависает либо надо целый "год" ждать, что бы бы обработка продвинулась )

   P.S. Почему так получается что на одном учаске пару лет оно сканирует за 5 минут - а на другом надо неделю наверное или больше?
 
marketeer:

...

Спреды в истории не хранятся (по крайней мере раньше так было).

...

Каждый минутный бар содержит свой спред.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Тестер стратегий

Renat, 2010.04.24 13:49

МетаТрейдер 4 точно моделировал нулевой бар своего символа на основе М1 баров: Strategy Tester: режимы моделирования при тестировании торговых стратегий.

Но МетаТрейдер 5 умеет гораздо точнее моделировать развитие баров (включая другие символы) за счет применения детальных М1 баров (история чартов вся в виде М1) и учета сохраненного спреда внутри каждого М1 бара. В ближайшие дни история спредов на М1 барах за последние 10 лет будет скорректирована что даст более точные результаты при тестировании.

Кроме того, в МетаТрейдер 5 мы включили режимы стресс-тестирования экспертов. Можно будет включить агрессивный режим моделирования проскальзываний, реквотов и частичных исполнений, что позволит писать более устойчивых и защищенных экспертов.


Пока стоит обычный режим, но скоро мы добавим новые.


 
tol64:

Каждый минутный бар содержит свой спред.


   То есть вы хотите сказать, что в MT-5 в историю занесены полностью подлинные котировки?
   (И тестирование даст те же результаты, что могли бы быть на реальной торговле в тот отрезок?)
 
Mike_Kharkov:
   То есть вы хотите сказать, что в MT-5 в историю занесены полностью подлинные котировки?
   (И тестирование даст те же результаты, что могли бы быть на реальной торговле в тот отрезок?)

Нет.

 
Mike_Kharkov:
   То есть вы хотите сказать, что в MT-5 в историю занесены полностью подлинные котировки?
   (И тестирование даст те же результаты, что могли бы быть на реальной торговле в тот отрезок?)

Всё это очень относительно. Зависит от торговой стратегии и условий брокера. 

И статьи по этой теме почитайте. Приводили уже подробное сравнение.

 
tol64:

Каждый минутный бар содержит свой спред.

Спасибо за уточнение. Один спред в минуту это конечно хорошо, чем ничего. Хотя для людей, интересующихся спредами обычно важно поведение спреда с большей точностью. ;-) Правда в данном случае, судя по вопросам, Майк еще не в курсе, нужны ли ему спреды или нет.