Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1201

 
Maxim Dmitrievsky:

вы же на них все равно смотрите зачем-то.. говорю про то, что можно смотреть и облизываться а можно пустить в оборот

Я скорей не облизываюсь, а обучаюсь - покопался с метриками - прочувствовал. Наковырял уже около 200 предикторов (представление многих предикторов выражено на 10 столбцов), характеризующих модель :)

К вечеру подоспеют модели, и попробую обучится предсказывать несливные модели :)

 
Кстати, вот ещё хочу предиктор, выдающий просадку по балансу предсказаний (поочередно прибавляем 1 если правильно предсказали и -1 если ошиблись), нет у кого либо функции(аналог просадки обычного баланса) для этих целей на MQL?
 

Вот смотрю на график зависимости прибыли от числа деревьев в модели (512 моделей)

и выходит вроде как модели с большим числом деревьев за 60 реже сливают или же выборка маленькая...

 
Aleksey Vyazmikin:

Вот смотрю на график зависимости прибыли от числа деревьев в модели (512 моделей)

и выходит вроде как модели с большим числом деревьев за 60 реже сливают или же выборка маленькая...

как вы умудряетесь строить такие кол-ва моделей вручную.. что в лиге ТС что у вас..

в идеале их через ГА или полный брутфорс перебирать. В новой статье написал как, которую еще не опубликовали. Все средствами mql
 
Maxim Dmitrievsky:

как вы умудряетесь строить такие кол-ва моделей вручную.. что в лиге ТС что у вас..

в идеале их через ГА или полный брутфорс перебирать. В новой статье написал как, которую еще не опубликовали. Все средствами mql

Почему ж вручную? Кэтбусту батник сделал с циклом для генерации моделей по параметрам, настроечный файл для параметров моделей генерируется скриптом в MT5. Обработка результатов так же идет в MT5 другим скриптом, а на выходе получаю сводный файл с характеристиками моделей.

Мне бы ещё автоматизировать рисование графиков и их сохранение - вообще бы хорошо было.
 
Aleksey Vyazmikin:

Почему ж вручную? Кэтбусту батник сделал с циклом для генерации моделей по параметрам, настроечный файл для параметров моделей генерируется скриптом в MT5. Обработка результатов так же идет в MT5 другим скриптом, а на выходе получаю сводный файл с характеристиками моделей.

Мне бы ещё автоматизировать рисование графиков и их сохранение - вообще бы хорошо было.

а ну круто, круто, левел )

 
Maxim Dmitrievsky:

а ну круто, круто, левел )

Спасибо.

Вот тут решил подумать над вопросом автоматизации подбора вероятности для разбивки классификации на 0 и 1, сделал подсчет баланса с шагом 0,1 и ужаснулся от результата на тестовой выборке

эти же модели на экзаменационной выборке

Получается, что тестовая выборка у меня очень благоприятна для стратегии без всяких доп условий МО, что видимо препятствует обучению (обучение проходит на тренировочной выборке, а выбор модели происходит на тестовой выборке), как считаете?

 
Aleksey Vyazmikin:

Спасибо.

Вот тут решил подумать над вопросом автоматизации подбора вероятности для разбивки классификации на 0 и 1, сделал подсчет баланса с шагом 0,1 и ужаснулся от результата на тестовой выборке

эти же модели на экзаменационной выборке

Получается, что тестовая выборка у меня очень благоприятна для стратегии без всяких доп условий МО, что видимо препятствует обучению (обучение проходит на тренировочной выборке, а выбор модели происходит на тестовой выборке), как считаете?

не очень понял что на рисунках и суть проблемы

сам понаплодил вариантов моделей, теперь пытаюсь понять какую выбрать для мониторинга :D или дальше улучшать

короче.. в данных подходах на выходы сделки подаются вообще не правильно, будь то зигзаги или еще какая чушь несусветная

потому что для каждого измерения скользящего окна должны быть свои распределения, из которых осуществляются сделки. Тогда модель подстраивается лучше, в т.ч. и под тестовую выборку. (в то время как зигзаг или иные выходы сами по себе очень детерминированы, мало степеней свободы для фитинга) Последнее это сделать и все, т.е. перебор выходов более основательный, а дальше там реально больше делать нечего уже будет

на входы же приращения с разными лагами, по старинке, с самоотбором через импортанс и может быть чрез PCA что бы избавитьс от коррелированности, такие варианты ботов тоже сделал. Но вообще, применение  PCA это ущербная идея (хотя, опять же, в интернетах пишут наоборот). Мало того что выборки надо центрировать, так еще и на новых данных эти компоненты медленно превращаются в шлак

Все это дает что-то вроде такого, довольно без заморочек, просто подождать 10 минут:

возможность дальнейших улучшений видится сомнительной вообще-то, когда модель и так более 100% от трейна отрабатывает

может на каком-то хорошем куске графика/инструменте можно выжать и поболе

 
Maxim Dmitrievsky:

не очень понял что на рисунках и суть проблемы

На рисунках показан финансовый результат(ось y) модели при выборе разной вероятности для бинарной классификации (ось x). На тестовой выборке у меня получилось, что входить в рынок надо всегда при появлении активационного (обучение решает вопрос - входить в рынок или нет) сигнала. Получился парадокс такой, что обучение только ухудшает базовый активационный сигнал и я бы этого не увидел, если бы не решил посмотреть как меняется финансовый результат от смещения точки классификации на отрезке вероятности.

Maxim Dmitrievsky:

сам понаплодил вариантов моделей, теперь пытаюсь понять какую выбрать для мониторинга :D или дальше улучшать

короче.. в данных подходах на выходы сделки подаются вообще не правильно, будь то зигзаги или еще какая чушь несусветная

потому что для каждого измерения скользящего окна должны быть свои распределения, из которых осуществляются сделки. Тогда модель подстраивается лучше, в т.ч. и под тестовую выборку. (в то время как зигзаг или иные выходы сами по себе очень детерминированы, мало степеней свободы для фитинга) Последнее это сделать и все, т.е. перебор выходов более основательный, а дальше там реально больше делать нечего уже будет

на входы же приращения с разными лагами, по старинке, с самоотбором через импортанс и может быть чрез PCA что бы избавитьс от коррелированности, такие варианты ботов тоже сделал. Но вообще, применение  PCA это ущербная идея (хотя, опять же, в интернетах пишут наоборот). Мало того что выборки надо центрировать, так еще и на новых данных эти компоненты медленно превращаются в шлак

У нас совсем разный подход к проблеме. Мне чуждо чисто математическое описание цены без вещественных(визуально наблюдаемых закономерностей) обоснований. Напротив, я применяю ZZ и вижу эффективность от этого (педикторы на ZZ всегда в первых рядах во всех пакетах МО). Думаю, что объединение двух подходов могло бы улучшить результат.

Отбор моделей через значимость - ерунда - ранее я уже показывал, что убирание разных значимых предикторов на одной и той же модели может улучшать результат обучения и формировать новые, более продуктивные и устойчивые связи в листьях деревьев. Весь этот "импортанс" - принцип жадности в построении деревьев, что не есть априори верно, поэтому нужны отдельные значимые методы оценки предикторов - их у меня пока нет.

 

Maxim Dmitrievsky:

Все это дает что-то вроде такого, довольно без заморочек, просто подождать 10 минут:

возможность дальнейших улучшений видится сомнительной вообще-то, когда модель и так более 100% от трейна отрабатывает

может на каком-то хорошем куске графика/инструменте можно выжать и поболе

Выглядит не плохо, но период работы модели слишком мал, как она себя ведет на данных годичной давности?

Причина обращения: