Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2594

 
mytarmailS #:
Ты мысль  озвуч предметно, а не высер этот - это будет работать, потому что это не будет работать 
Понятно, даже фантазия напрочь отсутствует. ОП не покроет все пространство вариантов модели, ты будешь выбирать и того, что она наоптимизировала и сама же остановилась на лучшем варианте. Иди на завод, короче. Берёшься за какие-то вещи, даже приблизительно не понимая с чем работаешь. А в случае бустинга ОП построить невозможно, поскольку число параметров растёт на каждой итерации. И про регуляризацию ты, конечно, не слышал. Все мнишь, что способен сам какие-то пики исключить качественно.
 
Maxim Dmitrievsky #:
Понятно, даже фантазия напрочь отсутствует. ОП не покроет все пространство вариантов модели, ты будешь выбирать и того, что она наоптимизировала и сама же остановилась на лучшем варианте. Иди на завод, короче. Берёшься за какие-то вещи, даже приблизительно не понимая с чем работаешь. А в случае бустинга ОП построить невозможно, поскольку число параметров растёт на каждой итерации. 
Мда...
Алексей вот сразу понял как это можно сделать.. 
Тебе же с 10го раза не ясно..   Придумай сам себе название) 
 
mytarmailS #:
Мда...
Алексей вот сразу понял как это можно сделать.. 
Тебе же с 10го раза не ясно..   Придумай сам себе название) 
От дурнэ. Это просто сделать, но бессмысленно. Ладно, ввозись в своём болотце ) В итоге просто придёшь к байесовским МО, которые не переобучаются в моменте.
 
Есть и более интересные вопросы применения МО в трейдинге. Например, алгоритм определения того, какой промежуток истории брать для обучения. Наверное, он может задаваться какими-то метапараметрами, которые оптимизируются кроссвалидацией. Надо почитать Прадо)
 
Aleksey Nikolayev #:
Есть и более интересные вопросы применения МО в трейдинге. Например, алгоритм определения того, какой промежуток истории брать для обучения. Наверное, он может задаваться какими-то метапараметрами, которые оптимизируются кроссвалидацией. Надо почитать Прадо)

Хотел написать, что чем больше данных, тем лучше, потом вспомнил один свой маленький экспериментик (впрочем, он сделан без достаточной репрезентативности, поэтому результат вполне может быть случаен, но все же). А именно: есть 2 рынка - по моим субъективным оценкам 1 более эффективный, второй менее. Модель обученная на более эффективном рынке давала на этом рынке на OOS хуже результаты, чем на этом же участке давала модель, обученная на менее эффективном рынке. 

 
Часто модели перестают работать в один момент, вне зависимости от величины трейна. Обучал на выборках разной длины, все переставали работать в определённом месте прошлой истории. Через это видно, что пропадает какая-то закономерность или меняется.

А если увеличить трейн, с охватом того места, то модель может обучиться на шум и вообще никак не работать в будущем. Увеличение трейна до гигантских размеров - тоже зло.

Таким образом можно найти длину участка, на котором модель работает, а потом обучиться на нем полностью, что несколько повысит результативность на какое-то время.
 
Maxim Dmitrievsky #:
Часто модели перестают работать в один момент, вне зависимости от величины трейна. Обучал на выборках разной длины, все переставали работать в определённом месте прошлой истории. Через это видно, что пропадает какая-то закономерность или меняется.

Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.

Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.

Если обучаться на 1 месяце, то уже через месяц модель снова научится правильно работать.

Хорошо бы на 1 неделе учиться... но данных уже маловато.

 
Maxim Dmitrievsky #:
Часто модели перестают работать в один момент, вне зависимости от величины трейна. Обучал на выборках разной длины, все переставали работать в определённом месте прошлой истории. Через это видно, что пропадает какая-то закономерность или меняется.

А если увеличить трейн, с охватом того места, то модель может обучиться на шум и вообще никак не работать в будущем. Увеличение трейна до гигантских размеров - тоже зло.

Таким образом можно найти длину участка, на котором модель работает, а потом обучиться на нем полностью, что несколько повысит результативность на какое-то время.

Про шумы да. Хотя не думал об этом с точки зрения брать участки истории с шумами и без. И кстати как это понимать до обучения модели? Типа итерационно? Обучил на всем участке, посмотрел где лучше всего перформит, оставил только эти участки и обучил сначала только на этих участках? Возникает второй вопрос, который до экспериментального подтверждения можно назвать философским: что для модели лучше - сразу видеть разные участки, в т.ч. зашумленные но обучаться в среднем на более зашумленных данных или обучаться на более чистых, но, условно, ни разу не видеть зашумленные данные. 


А чем плохи гигантские размеры? Помимо увеличения времени на вычисления?

 
elibrarius #:

Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.

Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.

Если обучаться на 1 месяце, то то уже через месяц модель снова научится правильно работать.

Хорошо бы на 1 неделе учиться... но данных уже маловато.

Совсем в короткий период уходить, уверен, не стоит. И данных будет не хватать моделям и риск переподгонки под состояние рынка. Концепция адаптация она выглядит хорошей, но из-за лага (пока накопил данные, состояние уже могло поменяться) она вряд ли грааль. Можно несколько моделей одновременно пробовать - одна отвечает за более долгосрочные закономерности, другая/другие - за более короткие (текущие), решение - функция от решений всех этих моделей.

 
Aleksey Nikolayev #:
Есть и более интересные вопросы применения МО в трейдинге. Например, алгоритм определения того, какой промежуток истории брать для обучения. Наверное, он может задаваться какими-то метапараметрами, которые оптимизируются кроссвалидацией. Надо почитать Прадо)

Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.

Причина обращения: