Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3408

 
Пока что из интересного - это про feature neutralization.. дальше туториал по ансамблям
 
Maxim Dmitrievsky #:
Пока что из интересного - это про feature neutralization.. дальше туториал по ансамблям

Почитал про feature neutralization по вашей ссылке и ссылке с той страницы.
Похоже на важность фичей, - типа устанавливаешь им коэффициент важности и они больше/меньше влияют на модель. Видел это кажется в Sclearn думаю и в др. пакетах есть.
Интересен анализ фичей, для определения этой важности. Хотя в основном по линейной корреляции с целевой идет оценка. Достаточно просто, но лучше чем с потолка (раньше и не знал как их оценивать, кроме как готовыми пакетами).

Вы не знаете, что за эпохи там на графиках? В нейросетях это очередной шаг обучения. Но как то странно их на графиках изображать, мне кажется это что-то другое. И такое ощущение, что это эпохи во времени. Может шаги в валкинг-форварде? Или просто дни/недели/месяцы.

Опять один и тот же термин для разных вещей применяется... на этот раз эпохи.
 
Maxim Dmitrievsky #:

https://numerai.fund/

шатко-валко что-то там торгуется.. но больше интересует что можно заработать на моделях

Ага, берут "To stake NMR on your model you must first deposit NMR into your Numerai wallet at your account's unique deposit address." То есть ты делаешь ставку на свою же модель их криптой, и по результатам они либо дают тебе бабки, либо отбирают твои :)

скорее всего валко

 
Forester #:

Почитал про feature neutralization по вашей ссылке и ссылке с той страницы.
Похоже на важность фичей, - типа устанавливаешь им коэффициент важности и они больше/меньше влияют на модель. Видел это кажется в Sclearn думаю и в др. пакетах есть.
Интересен анализ фичей, для определения этой важности. Хотя в основном по линейной корреляции с целевой идет оценка. Достаточно просто, но лучше чем с потолка (раньше и не знал как их оценивать, кроме как готовыми пакетами).

Вы не знаете, что за эпохи там на графиках? В нейросетях это очередной шаг обучения. Но как то странно их на графиках изображать, мне кажется это что-то другое. И такое ощущение, что это эпохи во времени. Может шаги в валкинг-форварде? Или просто дни/недели/месяцы.

Опять один и тот же термин для разных вещей применяется... на этот раз эпохи.
Там Эры, не эпохи. Каждую неделю новая эра (сделки открываются раз в неделю). Но много инструментов сразу. То есть датасет состоит из кучи чего-то там, может разных крипт или акций.
 
Maxim Dmitrievsky #:
Видос от них:

Суть в том, что нейросеть лучше убирает шумы, а прибыльные входы часто в условных выбросах предикторов. Поэтому деревянные модели могут быть лучше в ловле блох.

Maxim Dmitrievsky #:
Выше в видосе нумераи говорят, что нет идеальных методов.

Сложно не согласится.


Maxim Dmitrievsky #:
Они называют свой подход feature neutralization, смотрят корреляцию между признаками и метками и std. Короче по методу Саныча

У них целевые для регрессии получается? Пока в код не вникал.

Maxim Dmitrievsky #:
Вот займитесь, заодно питон можно подтянуть :) и у вас датасеты примерно такие же огромные, как у них

Если там бинарная целевая, то я мог бы протестировать на их данных свой метод отбора предикторов. Но, я так понимаю, они хотят код вместе с этапом обучения, и просто указать какие предикторы надо выкинуть - им не интересно?

Кстати, питон очень тяжко работает с большими датасетами - даже прочесть csv файл из коробки не мог с выборкой моей, пока я принудительно не указал, что бы использовал тип данных int8, и то размещает в памяти широко слишком. MQL5  работает куда лучше с памятью в этом плане.

Как их API скачать?
 
Aleksey Vyazmikin #:

Суть в том, что нейросеть лучше убирает шумы, а прибыльные входы часто в условных выбросах предикторов. Поэтому деревянные модели могут быть лучше в ловле блох.

Сложно не согласится.


У них целевые для регрессии получается? Пока в код не вникал.

Если там бинарная целевая, то я мог бы протестировать на их данных свой метод отбора предикторов. Но, я так понимаю, они хотят код вместе с этапом обучения, и просто указать какие предикторы надо выкинуть - им не интересно?

Кстати, питон очень тяжко работает с большими датасетами - даже прочесть csv файл из коробки не мог с выборкой моей, пока я принудительно не указал, что бы использовал тип данных int8, и то размещает в памяти широко слишком. MQL5  работает куда лучше с памятью в этом плане.

Как их API скачать?

Бинарная целевая, но разбитая на несколько страт, поэтому регрессия

у них там не оптимизировано ниче, долго считает. Большие данные логично в нампае открывать, а не в пандОсе

заливается финальная модель на сайт и все, на сайте все написано. Смысла не вижу, потому что на свои деньги там торгуешь. Ну премию дадут за хорошую модель и все. Доходности небольшие.

 
Maxim Dmitrievsky #:

Бинарная целевая, но разбитая на несколько страт, поэтому регрессия

А можете выборку выложить для обучения и теста их? Что бы не замарачиваться мне с их API и регистрацией?

Maxim Dmitrievsky #:
Большие данные логично в нампае открывать, а не в пандОсе

Да, видимо быстрей будет, но не понятно какой тип данных будет и если в csv колонки с датой и временем или текстом, то вероятно будет ошибка.

Я сейчас открываю csv и сохраняю в формат feather - эта штука очень быстро открывает данные и поддерживает разные типы. Дальше читаю только этот формат.

Maxim Dmitrievsky #:
Смысла не вижу, потому что на свои деньги там торгуешь. Ну премию дадут за хорошую модель и все. Доходности небольшие.

Ну, как беньчмарк для понимания, на сколько отстаешь от лидеров...

Кстати, там не видели статистику по сменяемости лидеров на разных эрах?

 

Удивительно, как совпадает ход моих мыслей с этим видео


Вторая часть


 
Aleksey Vyazmikin #:

Удивительно, как совпадает ход моих мыслей с этим видео


Вторая часть


вы искренне считаете, что кто-то будет смотреть два часовых видео, без хотя-бы краткого дайджеста "об чём оно" ?

 
Aleksey Vyazmikin #:

А можете выборку выложить для обучения и теста их? Что бы не замарачиваться мне с их API и регистрацией?

Да, видимо быстрей будет, но не понятно какой тип данных будет и если в csv колонки с датой и временем или текстом, то вероятно будет ошибка.

Я сейчас открываю csv и сохраняю в формат feather - эта штука очень быстро открывает данные и поддерживает разные типы. Дальше читаю только этот формат.

Ну, как беньчмарк для понимания, на сколько отстаешь от лидеров...

Кстати, там не видели статистику по сменяемости лидеров на разных эрах?

в блокноте все есть, без смс и регистаций

Причина обращения: