Оценка надежности и пригодности эксперта для реальной торговли

Новый комментарий
 

Надежность - способность объектов, товаров сохранять требуемые свойства. Т.е. надежным я считаю эксперта, который дает прибыль на всех этапах тестирования и устойчив к "внешним воздействиям". Под пригодностью подразумеваю его допустимость дилерскими центрами. Вопрос: как определить и оценить надежность эксперта и его пригодность для торговли на реальном счете?

Пример:

Есть эксперт приносящий профит и в тестере, и на демо.

Период 15 Минут (M15) 2007.12.07 11:45 - 2008.03.14 22:45 (2007.12.01 - 2008.03.15)
Модель Все тики (наиболее точный метод на основе всех наименьших доступных таймфреймов)
Параметры Lots=1; MM=false;
Баров в истории 3746 Смоделировано тиков 652866 Качество моделирования 38.98%
Ошибки рассогласования графиков 55
Начальный депозит 10000.00
Чистая прибыль 106028.51 Общая прибыль 134513.88 Общий убыток -28485.37
Прибыльность 4.72 Матожидание выигрыша 136.81
Абсолютная просадка 107.84 Максимальная просадка 1284.96 (1.12%) Относительная просадка 3.58% (367.39)
Всего сделок 775 Короткие позиции (% выигравших) 450 (74.22%) Длинные позиции (% выигравших) 325 (77.54%)
Прибыльные сделки (% от всех) 586 (75.61%) Убыточные сделки (% от всех) 189 (24.39%)
Самая большая прибыльная сделка 1675.52 убыточная сделка -181.73
Средняя прибыльная сделка 229.55 убыточная сделка -150.72
Максимальное количество непрерывных выигрышей (прибыль) 25 (7289.86) непрерывных проигрышей (убыток) 4 (-726.92)
Максимальная непрерывная прибыль (число выигрышей) 11545.79 (14) непрерывный убыток (число проигрышей) -726.92 (4)
Средний непрерывный выигрыш 4 непрерывный проигрыш 1


Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?

 
Lukyanov писал (а):

Надежность - способность объектов, товаров сохранять требуемые свойства.

...

Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?

Вы сами и ответили на свой вопрос. Прогоните форвард тест, т.е. оптимизируйте этого советника за период с 2007.08.07 по 2007.12.07. А потом с входными параметрами, полученными при оптимизации, прогоните тест за период с 2007.08.07 по сегодня. Если на неоптимизируемом участке с 2007.12.07 по сегодня советник сохранит свои свойства давать профит, то значит он надежен по меньшей мере в тестере.
 
Lukyanov:
Как определить, надежен ли он и пригоден ли для торговли на реальном счету? По каким критериям оценивать?
"Практика критерий истины" - Поставь на реал и увидишь.
Кто же, кроме тебя, знает, что там у него внутри, может он спамит ДЦ не по-детски. Кто тебе может ответить?
Единственное что видно, так это резкое изменение характера графика баланса после 520-й сделки, что явно не вписывается в твое собственное определение надежности - эксперт практически перестал приносить прибыль.
 

Reshetov, этот тест включает в себя зону вне периода оптимизации:

timbo, "Кто же, кроме тебя, знает, что там у него внутри, может он спамит ДЦ не по-детски. Кто тебе может ответить?"

Дело не в технически правильном написании эксперта. В этой теме меня интересует приемлимость, например, отношения количества сделок к периоду тестирования. Оценка МОЖ, просадки, прибыльности и каких либо других критериев.. Я не знаю как воспринимать эти цифры, подходящей статьи не нашел, поэтому и создал тему.

Вот картинка отдельно с времени 520ой сделки и до конца:

Считаю, что для установки на реал, по крайней мере, надо знать - есть ли в этом во всем смысл.

 
Для объективной оценки системы, необходимо провести целый ряд форвард тестов, на не пересекающихся участках истории. Чем больше таких тестов, тем лучше (желательно более 30).
 
Lukyanov:
Дело не в технически правильном написании эксперта. В этой теме меня интересует приемлимость, например, отношения количества сделок к периоду тестирования. Оценка МОЖ, просадки, прибыльности и каких либо других критериев.. Я не знаю как воспринимать эти цифры, подходящей статьи не нашел, поэтому и создал тему.

Вот картинка отдельно с времени 520ой сделки и до конца:

Считаю, что для установки на реал, по крайней мере, надо знать - есть ли в этом во всем смысл.

Где-то там была статья, где рассказывалось, что значат эти цифры.

По картинке "отдельно": на более чем 250 сделок всего 4750 прибыли, что означает ~ 19 баков на сделку (матожидание), что при размере лота 1.0 даёт менее двух пипсов на сделку. А это очень мало. Это вообще ничто. Т.е. смысла нет.
 

Не зная на о чем основан советник, посоветовал бы проверить :

1) совпадение сделок тестера и демо, одного дня = 10 сделок хватит.

2) если тест на котировках ХЦ, проведите тест на котировках Альпари

3) как уже советовали, несколько, форвардов: оптимизация год, тест месяц; оптимизация год+месяц, тест месяц; итд.

И конечно настораживает, падающий под конец теста уровень доходности, а тест-то всего за 3 месяца, что для каких-либо выводов вообще очень мало и больше смахивает на подгонку.

 
Вообще идея темы была не в разборке данного советника. Его я привел лишь как пример. Меня больше интересует научиться самому оценивать то, что получается на выходе тестирования. Кто - нибудь может помочь мне в этом вопросе, или хотя бы дать ссылку где об этом написано (в поиске не нашел)?
Новый комментарий