Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1811

 
Maxim Dmitrievsky:
Через такие способы закономерности не найти, это просто зафит. Как забить ватой щель поплотнее 

Дообучение не меняет способа поиска, но добавляет новые данные для обучения. Почему это плохо?

Разделение сложнее, и прямых логик нет, откуда уверенность?

 
Valeriy Yastremskiy:

Дообучение не меняет способа поиска, но добавляет новые данные для обучения. Почему это плохо?

Разделение сложнее, и прямых логик нет, откуда уверенность?

Потому что это обучение в скользящем окне, которое точно так же переобучается. И его невозможно контролировать на новых данных
 
Maxim Dmitrievsky:
Потому что это обучение в скользящем окне, которое точно так же переобучается. И его невозможно контролировать на новых данных

Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.

Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.

 
Valeriy Yastremskiy:

Контроль только по факту оценки последнего окна, и то, только когда новые характеристики ряда стали значимыми и мы получили отставание. Данных на сегодня много, и если по серьезному. то обучать надо на всех данных минимизируя отставание. Это всего лишь разнообразие рядов.

Вполне вероятно, что новые данные повторяют другой инструмент, который не был задействован в обучении.

Не вижу никакой разницы между обучением на всех данных и в скользящем окне. Если характеристики ряда меняются очень плавно, тогда есть смысл. Но на рынке такого нет.
 
Maxim Dmitrievsky:
Не вижу никакой разницы между обучением на всех данных и в скользящем окне. Если характеристики ряда меняются очень плавно, тогда есть смысл. Но на рынке такого нет.

смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.

 
Valeriy Yastremskiy:

смысл только в библе полученных характеристик, не более. Это не может быть полным решением, но тут работа по поиску повторений на различных инструментах в разное время. И только как вспомогательные данные для скользящего окна.

Каких характеристик? Там будет массив весов НС, которые не интерпретируются 
 
Maxim Dmitrievsky:
Каких характеристик? Там будет массив весов НС, которые не интерпретируются 

Да, некорректность между желаниями и инструментами. Действительно массив весов с НС будет не достаточен. а интерпретации с них вряд ли можно получить) 

Характеристика ряда это максимально простая мат.модель описывающая его с достаточно малой ошибкой))))

 

Vladimir Perervenko:

...

Большая иллюзия, что можно обучить модель на огромном промежутке прошлых данных и потом долго ее использовать без переобучения.

...

Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.

Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.

Однако, я не рискнул на это все поставить деньги - и это моя ошибка.

Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.

 
Aleksey Vyazmikin:

Долго - это сколько - у меня есть модель, которая пол года минимум работает в плюс. Я обнаружил это с примерно месяц назад, когда разбирал старые архивы файлов - взял модель, а она работает, но сейчас не знаю, как она обучалась - модель CatBoost.

Другой пример - так же строил на листьях, большинство из которых собраны на выборке 2014-2018 годов включительно, дерево в феврале 2020 года, которое используется в качестве фильтра, и эта синергия хорошо работает в 2020 году.

Однако, я не рискнул на это все поставить деньги - и это моя ошибка.

Теперь преследует мысль, что как раз подойду к критерию долго и все сломается.

попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких ,  и натренировать еще одну модель которая будет решать входить в сделку или нет

 
mytarmailS:

попробуйте взять эту модель и на всех точках входа создать выборку, индикаторов там накидать всяких ,  и натренировать еще одну модель которая будет решать входить в сделку или нет

Для этого метода у меня недостаточно будет показателей, ведь изначальная выборка порядка 15к строк, а если смотреть потом по активации, то будет там ну 5-6к входов, на этом учиться как то не очень, а вот мой метод позволяет продолжать обучение без изменения объёма выборки.

Индикаторов всяких лучше кидать сразу при обучении, я думаю.