Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3281

 
fxsaber #:

Когда никакая матрица не справится.

За три секунды ищутся похожие строки длиной 30K в строке 10M.

Впечатляющий результат!

 

Взял тут выборку с 2010 по 2023 (47к строк), разбил на 3 части в хронологическом порядке, и решил посмотреть, что будет если поменять эти части местами.

Размер подвыборок train - 60%, test - 20% и exam - 20%.

Сделал такие комбинации (-1) - это стандартный порядок - хронологический. Каждой подвыборке присвоен свой цвет.


Обучил 101 модель с разным Seed для каждого набора выборок, и получил следующий результат


Все метрики стандартные, и видно, что по ним определить среднюю прибыль моделей (AVR Profit) затруднительно, как и процент моделей, прибыль которых превышает 3000 пунктов на последней выборке, не участвующей в обучении.

Может относительная успешность варианта -1 и 0 в размере выборки train, и следует её уменьшить? Вообще, похоже что Recall на это реагирует.

Как считаете, должен ли результат быть при таких комбинациях сопоставим друг с другом в нашем случае? Или данные безвозвратно устаревают?

 
Aleksey Vyazmikin #:

Взял тут выборку с 2010 по 2023 (47к строк), разбил на 3 части в хронологическом порядке, и решил посмотреть, что будет если поменять эти части местами.

Размер подвыборок train - 60%, test - 20% и exam - 20%.

Сделал такие комбинации (-1) - это стандартный порядок - хронологический. Каждой подвыборке присвоен свой цвет.


Обучил 101 модель с разным Seed для каждого набора выборок, и получил следующий результат


Все метрики стандартные, и видно, что по ним определить среднюю прибыль моделей (AVR Profit) затруднительно, как и процент моделей, прибыль которых превышает 3000 пунктов на последней выборке, не участвующей в обучении.

Может относительная успешность варианта -1 и 0 в размере выборки train, и следует её уменьшить? Вообще, похоже что Recall на это реагирует.

Как считаете, должен ли результат быть при таких комбинациях сопоставим друг с другом в нашем случае? Или данные безвозвратно устаревают?

Очередной самопал...

Есть кросс валидация, все жевано-пережевано..., широчайше используется...

 
СанСаныч Фоменко #:

Очередной самопал...

Есть кросс валидация, все жевано-пережевано..., широчайше используется...

В том то и дело, что кросс валидация работать тут может не эффективно.

И в чём это самопал? Вот Максим переворачивает выборку по хронологии - полагая, что результат будет идентичен - мой эксперимент показывает заблуждение. Или же всё индивидуально и проверка может выявить случайный зацеп закономерностей или встречающейся по всей выборке.

 
Aleksey Vyazmikin #:

В том то и дело, что кросс валидация работать тут может не эффективно.

И в чём это самопал? Вот Максим переворачивает выборку по хронологии - полагая, что результат будет идентичен - мой эксперимент показывает заблуждение. Или же всё индивидуально и проверка может выявить случайный зацеп закономерностей или встречающейся по всей выборке.

не надо двигать стрелки на Максима, тем более когда он ничего из предложенного не делал и даже не помышлял

 
Maxim Dmitrievsky #:

не надо двигать стрелки на Максима, тем более когда он ничего из предложенного не делал

Как это не делал? Разве Вы уже не обучаете модель на самой свежей истории?

 
fxsaber #:

Когда никакая матрица не справится.

За три секунды ищутся похожие строки длиной 30K в строке 10M.

Это же не подсчет всех возможных коррелирующих паттернов, а сравнение исходника с другими данными. Здесь матрица и не нужна, достаточно вектор.

 
Aleksey Vyazmikin #:

Как это не делал? Разве Вы уже не обучаете модель на самой свежей истории?

Не помню кто прицепился к этому первым. Какой-то нуб. Это не имеет значения в моем случае.

 
Maxim Dmitrievsky #:

Не помню кто прицепился к этому первым. Это не имеет значения в моем случае.

Чем Ваш случай отличается от моего?

 
Aleksey Vyazmikin #:

Чем Ваш случай отличается от моего?

тем, что я не люблю общаться с безграмотными софистами и психологами )

такие люди не производят полезный контент

Причина обращения: