Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3474

[fxsaber]

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?

[Maxim Dmitrievsky]

fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?

Говоря языком статистики, is и oos из похожих, но разных распределений. Стационарность не соблюдена. Это может быть как из-за действительно разных распределений, так и из-за переоптимизации (найден ложный максимум).

В машинном обучении это называется смещением. Чем оно вызвано - нужна доп. аналитика.

[Ivan Butko]

fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?

Учитывая, что средний профит меньше, чем средний лос, это хороший признак 

Вот если бы Вы проверили на разных периодах и на разных парах, а потом подсчитать, сколько вышло подобных картин, было бы интересно

[Aleksey Vyazmikin]

fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?

Падение Recall - частое явление. Скорей всего в модели много редких правил - если используются не НС, а древовидный подход с множеством правил.

Не вижу количества сделок, но визуально два участка сопоставимы, учитывая 1/4 OOS.

Какой процент отобранных вариантов на периоде обучения (оптимизации) проходит независимый участок тестирования?

[fxsaber]

Ivan Butko #:

Вот если бы Вы проверили на разных периодах и на разных парах, а потом подсчитать, сколько вышло подобных картин, было бы интересно

Разные символы - разные закономерности.

[fxsaber]

Aleksey Vyazmikin #:

Какой процент отобранных вариантов на периоде обучения (оптимизации) проходит независимый участок тестирования?

Смогу ответить, если поясните по терминологии.

[Maxim Dmitrievsky]

Оценить результат своей оптимизации можно простым способом.

• Заоптить ТС на разных периодах (взять лучшие по своим субъективным критериям)
• усреднить параметры, ТС станет несмещенной
• прогнать на всем датасете + новые данные

Уже было.

З.Ы. останется одна оптимальная ТС (с точки зрения параметров), не из чего будет выбирать и делать мозги другим по этому поводу.

[mytarmailS]

Maxim Dmitrievsky #:

Оценить результат своей оптимизации можно простым способом.

• Заоптить ТС на разных периодах (взять лучшие по своим субъективным критериям)
• усреднить параметры, ТС станет несмещенной
• прогнать на всем датасете + новые данные

Далеко не факт..

ТС две машки(примитивный но наглядный пример):

на одном участке лучшые периоды 10, 21 ,

на втором участке лучшые периоды 30, 150

на треьем 5, 145

итд..

Усредним периоды в одну ТС, получим слив

[Maxim Dmitrievsky]

mytarmailS #:

Далеко не факт..

ТС две машки(примитивный но наглядный пример):

на одном участке лучшые периоды 10, 21 ,

на втором участке лучшые периоды 30, 150

на треьем 5, 145

итд..

Усредним периоды, получим слив

Значит ТС сливная, которая запоминает историю

на новой истории работать точно не будет

[Maxim Dmitrievsky]

Понятно, что чем больше параметров у ТС и разброс их значений, тем больше оптимизаций на разных интервалах нужно сделать. Статистика, Карл, вещь упрямая!