Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3171

Новый комментарий
 
Aleksey Vyazmikin #:

Ценной информацией считается смещение вероятности принадлежать к какому либо классу на 5% и более от среднего значения по выборке, а так же учитывается количество сигналов и их распределенность по выборке.

ИМХО, похоже на пи-хакинг, о котором недавно писал Максим. Если не используются какие-нибудь стат-тесты для определения значимости выделенных квантов, то это точно он.

Когда-то приводил простейший пример, когда на СБ выбирался лучший час недели для торговли (в то время как его очевидно не существует). Всего-то 5*24=120 вариантов, но этого вполне достаточно, что бы такой час всегда нашёлся (временной промежуток был вроде бы полгода). Там и "стабильность по выборке" присутствует.

 
Andrey Dik #:

перспективным видится действовать "методом от противного". т.е. искать не закономерности, а состояния ценового (тикового) ряда (не хочется употреблять "временной ряд"), которые не достижимы никогда и не встречаются на истории.

это позволит использовать граничные условия для построения выгодной для трейдунов стратегии. 

Единственным действующим подходом в анализе временных рядов является поиск паттернов и исключение выбросов :) любым способом.

Если его определять как какой-нибудь вневременной ряд или вообще не ряд, а, допустим, стопку или кучу-мучу, то могут быть другие варианты 😁
 
mytarmailS #:
Попробуйте сгенерировать цены из случайных рядов с плавающими характеристиками(нестационарность), 

и сделайте те же тесты/подгонки на таком ряде.. 

Спасибо, попробую MathRand-приращения.

Если увидите ТОТ ЖЕ ефект(направленный слив на ООС) - то это ефект подгонки/переобучения вашей ТС/МО

Разве на СБ должен бытб свал ООС?
Если же на ООС вы получите прибыль как на обучении, то значит этот ефект (направленный слив на ООС) присущь только  рынкам и дальше можно строить гипотезы

Вроде, по определению СБ не должно быть такой ситуации.

 
fxsaber #:

Спасибо, попробую MathRand-приращения.

Разве на СБ должен бытб свал ООС?

Вроде, по определению СБ не должно быть такой ситуации.

Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.
 
Aleksey Nikolayev #:

Обычно пробую немного "пошевелить" задачу - слегка поменять все возможные параметры (и доступные метапараметры) и посмотреть как меняется результат. Иногда становится немного яснее.

Спасибо. Обычно останавливает лень слишком глубоко разбираться. Поверхностное "шевеление", конечно, практикую.

 
Maxim Dmitrievsky #:
Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.

Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.


Возможно, ошибаюсь, но видится так.

  • Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
  • Любая ТС на СБ - СБ.
Изначальный вопрос был не в наличии резких сливов, а в том , что резкий слив начинается СРАЗУ после Sample.
 
mytarmailS #:

 OOS слева это тоже подгонка, только как бы второго порядка


представьте что у вас есть всего 1000 вариантов ТС, вообще


вашы шаги 1 и 2

1) Вы начинаете оптимизировать/искать   хорошую ТС , это трейн данные (подгонка/поиск/оптимизация)

допустим вы нашли 300 вариантов где ТС зарабатывает..

2) Теперь вы ищете ТС из этих 300 вариантов  которая пройдет  OOS это тест данные. Вы нашли скажем 10 ТС которые зарабатывают и на трейне и на тесте ( OOS )


Так что такое п.2 ?

Это  - то же самое продолжение подгонки , только ваш поиск  (подгонка/поиск/оптимизация)  стал немного глубже или сложней, потому что теперь у вас не одно условие оптимизации (пройти трейн), а два (проти тест + пройти трейн)

Такой самообман не практикую. Делаю только так.

  1. Оптимизация на трейне.
  2. Из найденных беру пятерку лучших и смотрю поведение на OOS. В этом пункте ни в коем случае нет никакой оптимизации.
Именно так были получены исходные картинки. Поэтому красивый OOS слева - это не подгонка совсем.
 
fxsaber #:

Это утверждение сравни тому, что при сложении СБ рядов будет видны резкие свалы. Ну так в самом СБ есть сами свалы. Не требуется что-то складывать.


Возможно, ошибаюсь, но видится так.

  • Любая комбинация (сложение и т.д.) нескольких СБ - СБ.
  • Любая ТС на СБ - СБ.
Изначальный вопрос был не в наличии резких сливов, а в том , что резкий слив начинается СРАЗУ после Sample.
Я вам дал объяснение. Возможно, нужно время, чтобы понять. Некоторые параметры ТС залипают на все время неправильных предсказаниях. Из-за чего общая результирующая - всегда слив. Бывает сразу, бывает не сразу. Это случайность.
 
Maxim Dmitrievsky #:
Я вам дал объяснение. Возможно, нужно время, чтобы понять.

Скорее всего, мы просто о разном говорим. Либо терминологический конфликт.

Выше, например, есть восприятие ООС, как участок форвард-тестирования. Т.е. один термин, а подходы иные.


Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, модели, практика и алготорговля

Maxim Dmitrievsky, 2023.08.17 06:33

Возьмите одну переобученную монетку на новых данных - она будет вести себя как сб. Добавьте еще несколько (по кол-ву параметров ТС), просуммируйте ошибки и получите резкие сливы, а иногда сб, а иногда наоборот. Часть монеток была завязана на тренд, который изменился. Часть на небольшие колебания. Первая часть начала предсказывать все время не в ту сторону, а вторая и без этого плохо предсказывала, потому что была переобучена на шум. Негативные эффекты сложились, а компенсирующих монеток не осталось.

В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.

Но это просто некая "удача" выбора sample-интервала на СБ.

Все это, конечно, голая теория. 

Надо будет дойти до графиков и посмотреть.

 
fxsaber #:

Скорее всего, мы просто о разном говорим. Либо терминологический конфликт.

Выше, например, есть восприятие ООС, как участок форвард-тестирования. Т.е. один термин, а подходы иные.



В этом объяснении приведен пример того, что можно найти в СБ ситуацию, когда справа будет получен нужный результат: необязательно резкий слив, но вообще любой. Например, резкая прибыль.

Но это просто некая "удача" выбора sample-интервала на СБ.

Все это, конечно, голая теория. 

Надо будет дойти до графиков и посмотреть.

Это удача и p-hacking, да. Поэтому результаты могут быть какие угодно.

P-hacking - это намеренная подгонка результатов под значимый статистический критерий. Например, вы видите, что на оос слева статистика крутая и выбираете этот вариант. Точно так же и справа. Это все подгонка.
1...316431653166316731683169317031713172317331743175317631773178...3510
Новый комментарий
Причина обращения: