Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2595

 
Replikant_mih #:

Совсем в короткий период уходить, уверен, не стоит. И данных будет не хватать моделям и риск переподгонки под состояние рынка. Концепция адаптация она выглядит хорошей, но из-за лага (пока накопил данные, состояние уже могло поменяться) она вряд ли грааль. Можно несколько моделей одновременно пробовать - одна отвечает за более долгосрочные закономерности, другая/другие - за более короткие (текущие), решение - функция от решений всех этих моделей.

По последним экспериментам на 5000 строках М5 (около 2 месяцев) что-то интересное есть. На 3000 уже все плохо. Но это под конкретные взятые фичи+целевую. Возможно найдется др. набор фичей и целевой, когда модель будет работать после обучения на коротком участке. Надо экспериментировать...
 
elibrarius #:
По последним экспериментам на 5000 строках М5 (около 2 месяцев) что-то интересное есть. На 3000 уже все плохо. Но это под конкретные взятые фичи+целевую. Возможно найдется др. набор фичей и целевой, когда модель будет работать после обучения на коротком участке. Надо экспериментировать...

От кол-ва фичей зависит, я люблю побольше фичей, обычно 5000 мало, если фичей до 5, наверно 5000 норм будет.

 
elibrarius #:

Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.

Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.

Если обучаться на 1 месяце, то уже через месяц модель снова научится правильно работать.

Хорошо бы на 1 неделе учиться... но данных уже маловато.

Тогда может недообучиться, меньше профита давать.. тут как бы уже вопрос подбора наверное. Иногда семплирование из текущих распределений может помочь для коротких выборок, типа как в статьях 
 
Replikant_mih #:

Про шумы да. Хотя не думал об этом с точки зрения брать участки истории с шумами и без. И кстати как это понимать до обучения модели? Типа итерационно? Обучил на всем участке, посмотрел где лучше всего перформит, оставил только эти участки и обучил сначала только на этих участках? Возникает второй вопрос, который до экспериментального подтверждения можно назвать философским: что для модели лучше - сразу видеть разные участки, в т.ч. зашумленные но обучаться в среднем на более зашумленных данных или обучаться на более чистых, но, условно, ни разу не видеть зашумленные данные. 


А чем плохи гигантские размеры? Помимо увеличения времени на вычисления?

Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.

На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)
 
elibrarius #:

Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.

Есть специальная тайм сериес КВ, у катбуста например. Но тогда датасет нельзя перемешивать. А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины. А если перемешивать, то обучение больше под локальные сигналы, не зависящие, грубо говоря, от смены трендов. Фиг знает что лучше :)
 
Maxim Dmitrievsky #:
  А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины.
Я и торговать так собираюсь. Длина будет равна неделе. Неделю торгую, в выходные обучение. И валкинг форвард так же делает.
 
Дуристика
 
elibrarius #:

Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.

Соглашусь с вами, если отвечаем на вопрос "Как торговать на следующем периоде?". Если же отвечаем на вопрос "Есть ли закономерность на данном отрезке истории?", то КВ вполне применима.

 
Maxim Dmitrievsky #:
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.

На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)

Да, как-то так наверно)

 
Maxim Dmitrievsky #:
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории.

Вот это и называется метод "перебора вариантов" или "метод тыка"...

Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...

Нормальные ребята начинают с разработки ТЕОРИИ...  Уже потом идут: разработка стратегии , оптимизация и тестирование...