Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3173

 
fxsaber #:

Стоп. Вы же не против самого процесса оптимизации? Получение нужной кривой на Sample-интервале никак не связано с другими интервалами чисто логически.

Связано, потому что вы до этого заложили параметры на основе своих знаний или предпочтений. Изначально знаете как получить кривую лучше, через какие параметры. Плюс могли торговать раньше на ранней истории и на этом опыте строить тс на новой истории. Глубина такой гештальт-терапии может быть колоссальной :)

Я не против оптимизации, просто пишу какие могут быть подводные камни.
 
Andrey Dik #:

а если сдвигать начало тестирования ещё назад? как долго система остаётся прибыльной?

Не совсем понял вопрос. Левый ООС - год. Его увеличить в прошлое?

я встречался с подобным поведением системы, когда на OOS справа происходит резкий слив, не думаю что это связано прям с резким 180 градусным разворотом найденных рыночных закономерностей (это бы свидетельствовало о причинах мистического характера, применений практик вуду и вообще чего угодно скорее, чем о каких то реальных проблемах наподобие переобучения или подгонки, ведь это по крайней мере странно, когда резкий слив происходит всегда именно после окончания обучения). обычно это связано с какими то ошибками в коде являющимися причиной ложно-положительных (или ложно-отрицательных) результатов как сказал выше Макс, исправление которых приводит к случайному поведению на ООS справа в худшем случае (переобучение) или постепенному угасанию прибыльности в лучшем случае (затухание найденных закономерностей и/или их постепенной сменой).

Предполагаю, что признаком отсутствия ошибок в коде является то, что код выполняет ровно то, что было задумано до программирования. В этом смысле все в порядке.

А в общем случае ТС с ошибками в коде - это все равно ТС. Просто не совсем такая, как изначально задумывал автор.

 
Помню, как-то мы прогнозировали временной ряд назад, а не вперед. И результаты вроде бы отличались в лучшую сторону. Проверять я это конечно не буду (с) :)
 
Maxim Dmitrievsky #:
Связано, потому что вы до этого заложили параметры на основе своих знаний или предпочтений. Изначально знаете как получить кривую лучше, через какие параметры. Плюс могли торговать раньше на ранней истории и на этом опыте строить тс на новой истории. Глубина такой гештальт-терапии может быть колоссальной :)

Знаком с этим эффектом переобучения головного мозга. В данном случае ТС была написана хронологически до вот этого.

В общем, благодарен за мысли.

 
fxsaber #:

Необходимость разделения на train/test/exam не понимаю.

Просьба пояснить, каков смысл в этих интервалах?

Сейчас представляю такую схему по ним.

  1. Числодробилка пашет на train, фильтруя по test.
  2. Числодробилка выключается полностью. И берется несколько лучших результатов на exam.


Первый пункт видится странным. А-ля "форвард-тест" в тестере. Разве это лучше, чем просто оптимизация без фильтрации, но на объединенном интервале: train+test?

 
fxsaber #:

Такой самообман не практикую. Делаю только так.

  1. Оптимизация на трейне.
  2. Из найденных беру пятерку лучших и смотрю поведение на OOS. В этом пункте ни в коем случае нет никакой оптимизации.
Именно так были получены исходные картинки. Поэтому красивый OOS слева - это не подгонка совсем.
Вы делаете один в один то что я описал, перечитайте более внимательно.
===================
Делайте сравнение с СБ,  пока нету сравнения и не доказано что ТС ведёт себя на рыночных данных иначе чем на СБ,   нету смысла строить гипотезы 
 
mytarmailS #:
Вы делаете один в один то что я описал, перечитайте более внимательно.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, модели, практика и алготорговля

mytarmailS, 2023.08.16 13:23

представьте что у вас есть всего 1000 вариантов ТС, вообще


вашы шаги 1 и 2

1) Вы начинаете оптимизировать/искать   хорошую ТС , это трейн данные (подгонка/поиск/оптимизация)

допустим вы нашли 300 вариантов где ТС зарабатывает..

2) Теперь вы ищете ТС из этих 300 вариантов  которая пройдет  OOS это тест данные. Вы нашли скажем 10 ТС которые зарабатывают и на трейне и на тесте ( OOS )

Второй шаг не делаю.

 
fxsaber #:

Второй шаг не делаю.

ваш второй шаг, который вы "не делаете" ))


В чем различие?

 
fxsaber #:

1. Не совсем понял вопрос. Левый ООС - год. Его увеличить в прошлое?

2. Предполагаю, что признаком отсутствия ошибок в коде является то, что код выполняет ровно то, что было задумано до программирования. В этом смысле все в порядке.

А в общем случае ТС с ошибками в коде - это все равно ТС. Просто не совсем такая, как изначально задумывал автор.

1. Да.

2. Да.

Если резкий слив всегда сразу после обучения, то торговать в обратку и всего то делов (но это очень странный сценарий и причины объяснить затруднительно). Но, конечно, скорее всего слив сразу после обучения происходит не всегда (случайно), тогда это говорит о слабой прогностической способности модели.

 
fxsaber #:

Высокая категоричность утверждений без доли сомнений. На тему расположения ООС делал пост.

Не первый раз сталкиваюсь с нелюбовью к тестеру. Чем не угодила числодробилка, не знаю.

Плохо понимаю, как можно заглядывать вперед при оптимизации.


По методике. Необходимость разделения на train/test/exam не понимаю. Утверждение даже при самом благоприятном стат. исследовании, что ТС НЕ переобучена, выглядит слишком самоубежденным.

Максимум, что могу получить в выводе: "скорее всего, ТС нашла некую закономерность, которая была некоторое время до и после интервала обучения. При этом нет никакой гарантии, что эта закономерность уже не сломалась."

Моя высокая категоричность основана на описанном подходе, который является стандартным в МО. Я еще не упомянул к описанному кросс валидацию. Это профессиональный подход к анализу рынков в МО.

То, что Вы описываете -  это любительский уровень, уровень ТА, в котором невозможно обосновать выводы статистикой. Из-за этого статистика подменяется тестером, который в своей основе НЕ имеет отношения к статистике.

Если это понимать, то можно и нужно использовать тестер ТОЛЬКО после предварительных расчетов, выводы которых основаны на статистике.

Именно поэтому описанный мной подход подготовки исходных данных выходит за рамки тестера и является НЕКОТОРОЙ гарантией переобученности и заглядывания вперед. Сравните последовательное тестирование и тестирование на перемешанных данных.

От того, что Вы не понимаете, как ООС слева может является следствием заглядывания вперед, НЕ означает, что этого нет. Глядя на картинку, это очень подозрительно. Например, вполне вероятно, что алгоритм в будущем для ООС отрезке что-то вылавливает, что дает такую же красивую картинку как и на ООС. Как только переходите на будущее по отношению к участку тестирования, то сразу же облом.

Вывод.

 Картинка, где слив справа от тестирования, является доказательством переобучености и/или заглядывания вперед.