Оптимизация с форвард-тестированием. - страница 3

 
Комбинатор:
Вот честно, я раньше тоже задавался таким вопросом. Потом наткнулся несколько раз на ситуацию, когда OOS на промежутке до тестового давал стабильный плюс, а после тестового -- случайные шатания. После этого OOS всегда беру новее.

Тоже такое замечал. Самый надежный способ - брать oos после дат обучения.

 
Alexey Burnakov:

Тоже такое замечал. Самый надежный способ - брать oos после дат обучения.

Ничего удивительного в этом нет. Рынки меняются и ТС перестают на них работать. Т.е. протухнуть может не только ТС, но и рынок. У меня есть системка, которая на всех отрезках в прошлом умудрялась зарабатывать. Но после середины 2015 года что-то изменилось, и какой параметр не бери - после этой даты следует слив. Вывод: надо брать последовательный oos и не мудрствовать лукаво.
 
Vasiliy Sokolov:
Ничего удивительного в этом нет. Рынки меняются и ТС перестают на них работать. Т.е. протухнуть может не только ТС, но и рынок. У меня есть системка, которая на всех отрезках в прошлом умудрялась зарабатывать. Но после середины 2015 года что-то изменилось, и какой параметр не бери - после этой даты следует слив. Вывод: надо брать последовательный oos и не мудрствовать лукаво.

Ага.

А если вы будете делать WF или кроссвалидацию со слоем валидации кроссвалидации, то и в этом случае test-данные должны быть из будущего.

Правда, вот, с кроссвалидацией запарка. Можно ряд разделить пополам, и на одной части обучать, на другой тестировать, но наступит момент, когда обучение пойдет на части из будущего. Либо надо хитро делить данные.

 

Было бы замечательно, если поделить несколько участков с котировками, провести по ним оптимизацию и собрать со всех не сливающие форварды и найти, что у них общего.

То есть где сова будет сливать и где зарабатывать. А вот потом засада, как нащупать ту лакмусовую бумагу, которая будет выявлять благоприятные условия для торговли или нет. Чем это измерить? 

 
Комбинатор:
Вот честно, я раньше тоже задавался таким вопросом. Потом наткнулся несколько раз на ситуацию, когда OOS на промежутке до тестового давал стабильный плюс, а после тестового -- случайные шатания. После этого OOS всегда беру новее.

 Тут главный вопрос - а по какому критерию выбирать оптимизационный участок и проверочный. Я пытался выбирать по корреляции с другим инструментом, но не проканало... Возможно, вернусь к этой теме после усовершенствования индикатора корреляции специально под эту задачу.

Но я выбирал проверочные участки по определенному критерию для каждого последующего oos , а не наоборот. Сами же тесты как шли по очереди, так и шли Т.е. идея была - каждый новый участок НЕ ОБЯЗАТЕЛЬНО похож на предыдущий. Т.е. если можно обнаружить некий паттерн в текущем участке 

 oos, соотвестсвующий какому-то более отдаленному участку is, то совсем не обязательно оптимизировать на недавней истории. Возможно, истина где-то посредине, но это все надо проверять.

 

Что же про Волк-Форвард - говорили здесь неоднократно. Ответ  - стоит в очереди. Почему народ его не требует - мое мнение подсознательно люди не хотят знать правду.

Я думаю, для начала надо создать ОТДЕЛЬНЫЙ РАЗДЕЛ ФОРУМА, посвященный этой теме, поскольку сами Квоты, мне кажется, не понимают всех подводных камней этого реализации этого способа тестирования. 

 
Youri Tarshecki:

Что же про Волк-Форвард - говорили здесь неоднократно. Ответ  - стоит в очереди. Почему народ его не требует - мое мнение подсознательно люди не хотят знать правду.

Я думаю, для начала надо создать ОТДЕЛЬНЫЙ РАЗДЕЛ ФОРУМА, посвященный этой теме, поскольку сами Квоты, мне кажется, не понимают всех подводных камней этого реализации этого способа тестирования. 

Вот именно, что даже если реализуют - все равно это будет работать мягко-говоря своеобразно, поэтому смысла ждать нет, а лучше запилить что-то свое.
 
Youri Tarshecki:

Что же про Волк-Форвард - говорили здесь неоднократно. Ответ  - стоит в очереди. Почему народ его не требует - мое мнение подсознательно люди не хотят знать правду.

Я думаю, для начала надо создать ОТДЕЛЬНЫЙ РАЗДЕЛ ФОРУМА, посвященный этой теме, поскольку сами Квоты, мне кажется, не понимают всех подводных камней этого реализации этого способа тестирования. 

Тонкость с WF в том, что без подбора окон обучения и тестирования можно одним прогоном WF обойтись, и он покажет как обученная лучшая модель ведет себя вне выборки. А вот есть параметры окон для WF подбирать так, чтобы лучший результат получить, то придется еще сам WF валидировать на отдельных данных с теми же параметрами окон.
 

Насколько я знаю, у MQ есть в планах идея реализовать WF, но есть более неотложные дела. Люди как раз "требуют", но во-первых таких сведущих меньшинство, а во-вторых, они приоритет не определяют.

Youri Tarshecki:

 Тут главный вопрос - а по какому критерию выбирать оптимизационный участок и проверочный. Я пытался выбирать по корреляции с другим инструментом, но не проканало... Возможно, вернусь к этой теме после усовершенствования индикатора корреляции специально под эту задачу.

Но я выбирал проверочные участки по определенному критерию для каждого последующего oos , а не наоборот. Сами же тесты как шли по очереди, так и шли Т.е. идея была - каждый новый участок НЕ ОБЯЗАТЕЛЬНО похож на предыдущий. Т.е. если можно обнаружить некий паттерн в текущем участке 

 oos, соотвестсвующий какому-то более отдаленному участку is, то совсем не обязательно оптимизировать на недавней истории. Возможно, истина где-то посредине, но это все надо проверять.

 "Выбирать" IS и OOS ИМХО нельзя. Можно формировать их хронологически или случайно. Идея про поиск похожего по каким-то критериям (в том числе по корреляции) участка истории и брать результаты его оптимизации - это уже не WF, по крайней мере, не классический точно. Однако смотреть паттерны в OOS - это в корне неверно, ведь OOS это "будущее" - мы его при онлайн-торговле еще не знаем.


 
Alexey Burnakov:
Тонкость с WF в том, что без подбора окон обучения и тестирования можно одним прогоном WF обойтись, и он покажет как обученная лучшая модель ведет себя вне выборки. А вот есть параметры окон для WF подбирать так, чтобы лучший результат получить, то придется еще сам WF валидировать на отдельных данных с теми же параметрами окон.
Вот это точно. Как раз для этого случая я и подумываю прикрутить Монте-Карло - статистически валидировать выбор размеров окна и шага. Этот так называемый кластерный анализ фактически делит историю разными способами на отдельные WF-прогоны с разными размерами, но каждый из них как отдельный прогон - это что-то вроде подгонки (нет доказательств применимости в будущем ;-)).