Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3487

 
Maxim Dmitrievsky #:
CV

В идеале - да, но на рыночных данных получить похожие модели на разных участках обучения - не припомню, кому удавалось.

 
lynxntech #:
были интересные мысли на МО. именно по тому как они не будут работать, вовремя не записал тут и забылись, большой личный информационный загруз.
Смотришь как спиннер крутится?
 
Maxim Dmitrievsky #:
Смотришь как спиннер крутится?

думаю у меня больше уровень, пока не интересно.

 
lynxntech #:

думаю у меня больше уровень, пока не интересно.

Куда больше-то уже?

 
просьба модераторам, не обращать внимание, это давние с этим давним участником. интересным.
 

Провел обучение по своей методике на рандомных данных с подглядыванием на двух выборках, как и тут с нормальной выборкой.

Ну, скажу так, вполне можно обучаться. Динамика обучения - вероятность выбора класс "1" на каждой итерации после "обучения".

 


Так выглядит вероятность выбора правильного квантового отрезка на каждой итерации. В конце трясёт, так как выборка уменьшается.

В целом очень похожа динамика, как и на данных, которые считаем не рандомными.

А вот так выглядит график уже с числом хороших вариантов для выбора.

Разница в пике примерно в 4,5 раза с не рандомными данными. Можно ли тогда считать, что 20% на не рандомных данных - это просто случайно прошедшие отбор квантовые отрезки? Замечу, что здесь для отбора используется CV без перемешивания - диапазоны выборки разбиваются на 10 частей и они подлежат оценки в совокупности.

А кому интересен баланс на выборке exam - вот такой вот он - 1 пункт 0,00001, спред учтён.

В итоге, взяли случайную выборку, с какой то вероятностью нам повезло, построили случайно модель или подкрутили переменные в оптимизаторе, и вот радуемся результату и несём накопленные непосильным трудом деньги на рынок...

 
Aleksey Vyazmikin #:
Алексей, сколько у тебя ядер или потоков на сервере? 
 
mytarmailS #:
Алексей, сколько у тебя ядер или потоков на сервере? 

У меня много компутеров, максимум 28 ядер - 56 потоков - 128 ОЗУ.

 
Aleksey Vyazmikin #:

У меня много компутеров, максимум 28 ядер - 56 потоков - 128 ОЗУ.

Ты их пользуешь? 56 потоков
 
mytarmailS #:
Ты их пользуешь? 56 потоков

В последнее время я не так часто использую все ресурсы - занимался теоретическими разработками на одной выборке, но скоро я хочу разработки проверить на разных выборках, что бы оценить результат более объективно, для этого удобно будет для каждой выборки использовать отдельный компьютер - если обучать модели на том же CatBoost.

Ещё для советника с маркета я использовал все ресурсы - для отбора базовых таблиц настроек параметров.

Изначально под отбор листьев всё покупал и под генетику - тут может ещё напишу код под идею на питоне, что использовал на R - имеет недостатки, которые я не понял как устранить.

Вообще, где много вычислений, и алгоритм мой полезным кажется - переношу логику на OpenCL и считаю на видеокарте.

Причина обращения: