Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3172

 

fxsaber #:

Любая комбинация (сложение и т.д.) нескольких СБ - СБ.

Совершенно верно при сложении нескольких СБ с фиксированными весами. При более вычурных комбинациях может получиться что-то более сложное, в основном из-за колебаний волатильности.

fxsaber #:

Любая ТС на СБ - СБ.

Это верно лишь отчасти, когда все сделки с примерно одинаковыми объёмами, стопами и тейками.

Если математически точно, то "Любая ТС на СБ - мартингал" (не путать с мартингейлом). Например, кочерга рисуемая на СБ при пересиживаниях, усреднениях и тд - это тоже мартингал, но не СБ.

 
Ну путь с анализом такого на графике СБ изначально тупиковый, потому что на нем можно получить вообще какие угодно результаты :)
Либо успокаивающие, либо раздражающие.
 
СанСаныч Фоменко #:

ООС всегда должна быть СПРАВА. 

Если ООС СЛЕВА, то невозможно гарантировать, что ТС НЕ переобучена и НЕ заглядывает вперед . Это первые главные проблемы, которые надо решать при тестировании ТС ДО всего остального.


Какая из них у Вас? Да какая разница! То, что либо одна из них либо обе - не имеет значения. Надо правильно тестировать и баста - ООС справа.

А лучше забыть про тестер и файлы для тестирования формировать следующим образом:

Высокая категоричность утверждений без доли сомнений. На тему расположения ООС делал пост.

Не первый раз сталкиваюсь с нелюбовью к тестеру. Чем не угодила числодробилка, не знаю.

Имеем два файла.


Первый файл делим случайно выборкой по  sample на три части: обучения, тестирования и валидации. Учим на выборке (случайной) обучения, потом проверяем на  случайной выборке тестирования и валидации  - это все РАЗНЫЕ куски первого файла. Сравниваем результат. Примерно равны, то проверяем на втором файле "естественной последовательности". Если и здесь примерно равны, то получаем главный вывод: наша ТС НЕ переобучена и НЕ заглядывает вперед. Только имея этот вывод имеет смысл рассуждать о чем угодно еще: точности, прибыльности и прочем, все это ВТОРИЧНО.


Замечу, что других способов  проверки на заглядывание вперед и переобучение фактически нет. 

Плохо понимаю, как можно заглядывать вперед при оптимизации.


По методике. Необходимость разделения на train/test/exam не понимаю. Утверждение даже при самом благоприятном стат. исследовании, что ТС НЕ переобучена, выглядит слишком самоубежденным.

Максимум, что могу получить в выводе: "скорее всего, ТС нашла некую закономерность, которая была некоторое время до и после интервала обучения. При этом нет никакой гарантии, что эта закономерность уже не сломалась."

"Out-Of-Sample" - где расположить, справа или слева?
"Out-Of-Sample" - где расположить, справа или слева?
  • 2019.12.10
  • www.mql5.com
Когда-то в паблике столкнулся с мнением, что OOS должен располагаться только справа. Т.е. расположение его слева от интервала Оптимизации - ошибка. Я с этим был категорически не согласен, т.к. не
 

Здесь больше актуально какую таблетку принять: синюю или красную :)


 
Maxim Dmitrievsky #:
Это удача и p-hacking, да. Поэтому результаты могут быть какие угодно.

P-hacking - это намеренная подгонка результатов под значимый статистический критерий. Например, вы видите, что на оос слева статистика крутая и выбираете этот вариант. Точно так же и справа. Это все подгонка.

Погодите, о каком выборе в этом месте идет речь?

 
fxsaber #:

Погодите, о каком выборе в этом месте идет речь?

Ну вы выбрали этот вариант и показали, что слева хорошо, а справа плохо.

У вас же несколько вариантов оптимизации, но вы выбираете именно такие, чтобы показать.

 
Maxim Dmitrievsky #:

Ну вы выбрали этот вариант и показали, что слева хорошо, а справа плохо

Не выбирал. Вот метода.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, модели, практика и алготорговля

fxsaber, 2023.08.17 06:58

Такой самообман не практикую. Делаю только так.

  1. Оптимизация на трейне.
  2. Из найденных беру пятерку лучших и смотрю поведение на OOS. В этом пункте ни в коем случае нет никакой оптимизации.
Именно так были получены исходные картинки. Поэтому красивый OOS слева - это не подгонка совсем.
 
fxsaber #:

Не выбирал. Вот метода.

ну более утонченный p-hacking :) все равно происходит множественное тестирование и подбор диапазонов параметров ТС. Они же не с потолка берутся.

 
Aleksey Vyazmikin #:

Если уменьшить период обучения, то так же быстро произойдет перелом тенденции графика?

По разному, конечно. Но очень часто виден слом сразу после Sample. Возможно, это когнитивное искажение, когда на что-то сильнее обращаешь и создается впечатление, что так происходит слишком часто.

Мало что знаю про тиковые стратегии, но один из факторов такого поведения - отсутствие сопоставимых данных при обучении, к примеру - на обучении был в основном тренд вниз на каком то TF.

На графике три года ежедневной торговли.

Не знаю, какой метод обучения используете, если это древовидные системы или фильтры просто зажимающие диапазон условного индикатора (функции), то стоит оценить число примеров, попадающих в каждый из таких диапазонов.

Вот что не делал, так это не строил график для каждого диапазона. Стат. данные считал, а сам график не смотрел.

Возможна ситуация - дрейф данных и смещение распределения вероятностного исхода для фильтра/листа.

К примеру, когда я отбираю квантовые отрезки на выборке для обучения, и потом оцениваю их распределение (процент правильных и не правильных откликов на целевую 0||1) на двух других выборках, то отвечающих критерию стабильности на 3х выборках выявляется в пределах 25%-30% - понятно, что при таком раскладе модель имеет больше шансов выбрать нестабильный предиктор, который перестанет работать на одном из участков.

В итоге всё сводится к анализу простых закономерностей, а именно поиску оснований их считать таковыми, а не случайным наблюдением хвоста кометы в телескопе.

Не понял выделенное.

 
Maxim Dmitrievsky #:

ну более утонченный p-hacking :) все равно происходит множественное тестирование и подбор диапазонов параметров ТС. Они же не с потолка берутся.

Стоп. Вы же не против самого процесса оптимизации? Получение нужной кривой на Sample-интервале никак не связано с другими интервалами чисто логически.