Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3037

 
Forester #:
Что ж  там не понятного? Поясню:
на графике линия баланса, на мой взгляд хоть и прибыльная, но в работу не годится.
Столбец  Err - показывает ошибку классификации. Для прибыльного варианта она равна 8,3%, для отработавшего в 0 ошибка = 9,1%.

Так покажете свой график баланса на ООС с 20% ошибки?

Какое отношение баланс имеет к ошибке классификации?

 
СанСаныч Фоменко #:

Какое отношение баланс имеет к ошибке классификации?

Вот именно, что никакого. Неясно, почему вы все время 20% как достижение выставляете...
Ни 20%, на 8% на  50% ничего не значат. Цифры ни о  чем.

Баланс  интересен. Нет графика?

 
Maxim Dmitrievsky #:

да я по сути тоже не фанат, но Алексей говорит, что получается

вопрос почему не юзает что получилось ) видимо результат не очень устраивает

Получается отобрать правила, но надо понимать, что часть из них работает не устойчиво год от года, часть вообще перестаёт работать, и другая часть продолжает устойчиво работать.

Конечно нам интересны те, что продолжают работать - что их отличает от других - та загадка, что позволит существенно улучшить любую ТС.

Вот как раз я пытаюсь увеличить потенциально число хороших правил, через отбор ограниченного числа отрезков предикторов для них. Для этого нужно выявить участки "стабильных" показателей каждого предиктора, который будет использоваться для создания правил. Именно эта задача меня сейчас интересует.

С другими целевыми эксперименты не проводил, так как ищу менее затратный способ, чем у меня есть, для добычи этих правил.

Я правильно понял, что вы решили не делать колаб для сравнения двух методов?

 
Aleksey Vyazmikin #:

Получается отобрать правила, но надо понимать, что часть из них работает не устойчиво год от года, часть вообще перестаёт работать, и другая часть продолжает устойчиво работать.

Конечно нам интересны те, что продолжают работать - что их отличает от других - та загадка, что позволит существенно улучшить любую ТС.

Вот как раз я пытаюсь увеличить потенциально число хороших правил, через отбор ограниченного числа отрезков предикторов для них. Для этого нужно выявить участки "стабильных" показателей каждого предиктора, который будет использоваться для создания правил. Именно эта задача меня сейчас интересует.

С другими целевыми эксперименты не проводил, так как ищу менее затратный способ, чем у меня есть, для добычи этих правил.

Я правильно понял, что вы решили не делать колаб для сравнения двух методов?

думаю пока как на автомате сделать

 
Aleksey Vyazmikin #:

Получается отобрать правила, но надо понимать, что часть из них работает не устойчиво год от года, часть вообще перестаёт работать, и другая часть продолжает устойчиво работать.

 правда в том что если взять 1000 рандомных ТС то будем иметь точно такие результаты.

Более того , если сделать еще одну выборку для теста , четвертую     типа -  трейн-тест-валид-тест2

то выясниться что   " другая часть продолжает устойчиво работать."

точно так же не будет работать ))

Те все рандом, а нйденая закономерность на самом деле случайность

 
mytarmailS #:

 правда в том что если взять 1000 рандомных ТС то будем иметь точно такие результаты.

Более того , если сделать еще одну выборку для теста , четвертую     типа -  трейн-тест-валид-тест2

то выясниться что   " другая часть продолжает устойчиво работать."

точно так же не будет работать ))

Те все рандом, а нйденая закономерность на самом деле случайность

Вот я то обучал по 10000 моделей и знаю, что дело не так обстоит - большая часть перестает работать на новых данных.

А листья - да Вы невнимательно читали видимо - я писал, что обучал на данных с 2014 до 2019 года (пара месяцев), в том числе валидация, а показывал как они работали в 2021 году - т.е. тут честный тест был, без заглядывания в будущее - в прибыли 50%.

Может и всё рандом, но у каждого рандома есть цикличность, согласно которой он бывает не рандом :)

 
Aleksey Vyazmikin #:

Вот я то обучал по 10000 моделей и знаю, что дело не так обстоит - большая часть перестает работать на новых данных.

А листья - да Вы невнимательно читали видимо - я писал, что обучал на данных с 2014 до 2019 года (пара месяцев), в том числе валидация, а показывал как они работали в 2021 году - т.е. тут честный тест был, без заглядывания в будущее - в прибыли 50%.

Может и всё рандом, но у каждого рандома есть цикличность, согласно которой он бывает не рандом :)

Цикличнлсть которая не циклична... те опять рандом
 
Maxim Dmitrievsky #:
Типа если получить устойчивый стейт через ФФ, то он будет характеризовать устойчивую ТС? Все же понимают, что это курвафиттинг
Так можно только случайно получить устойчивую ТС, перебором 

ФФ должна описывать правила устойчивой ТС. Если ТС получается неустойчивой, значит правила в ФФ неправильные.

Проблема в том, что пока никому не удалось найти такие правила для ФФ (я не видел, по крайней мере). Тут два пути: либо упрощать ТС, что бы она имела как можно меньше степеней свободы, а значит станет с большей вероятностью стабильно сливающей либо стабильно наливающей, либо искать правила для ФФ а это более сложный путь.

В общем, универсального набора действий для граалестроителя нет. Есть третий путь - создание гибкого самообучающегося ИИ наподобие ChatGPT, но даже тут есть ФФ, которая используется при обучении. Хотел сказать одно - ФФ будет присутствовать всегда в том или ином виде, от неё никуда не деться.

Проблема не в построении устойчивой ТС, а в описательных характеристиках, которые закладывают в ФФ. 

 
Andrey Dik #:

ФФ должна описывать правила устойчивой ТС. Если ТС получается неустойчивой, значит правила в ФФ неправильные.

Проблема в том, что пока никому не удалось найти такие правила для ФФ (я не видел, по крайней мере). Тут два пути: либо упрощать ТС, что бы она имела как можно меньше степеней свободы, а значит станет с большей вероятностью стабильно сливающей либо стабильно наливающей, либо искать правила для ФФ а это более сложный путь.

В общем, универсального набора действий для граалестроителя нет. Есть третий путь - создание гибкого самообучающегося ИИ наподобие ChatGPT, но даже тут есть ФФ, которая используется при обучении. Хотел сказать одно - ФФ будет присутствовать всегда в том или ином виде, от неё никуда не деться.

Проблема не в построении устойчивой ТС, а в описательных характеристиках, которые закладывают в ФФ. 

Весьма правильные и грамотные рассуждения, противоречивые конечно - "... не в построении устойчивой ТС", как раз к технологии построения/отбора/эволюции устойчиво доходных ТС и стремимся.

 
Andrey Dik #:

ФФ должна описывать правила устойчивой ТС. Если ТС получается неустойчивой, значит правила в ФФ неправильные.


Никаких проблем ФФ решить не может по определению. Или есть ЧТО улучшать на единицы процентов или нет. Невозможно улучшить мусор, сколько не копайся в мусоре, мусор так и останется мусором.

Поэтому первоначальны соображения о связи между целевой и предикторами. Более того, необходима количественная оценка такой связи, более того не просто оценка связи, а количественная оценка способности предикторов предсказывать будущие значения целевой переменной (учителя). В этой цепочке рассуждений нет места ФФ, поэтому можно тупо брать/выбирать алгоритм МО, которых сотни, и использовать их как черные ящики, не пытаясь "улучшить" что-то в конкретных алгоритмах.

Более того, занятия ФФ штука чреватая - слишком сильный запах сверх подгонки под историю.