Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3355

 
Ну наконец-то.
 
Maxim Dmitrievsky #:
Я надеялся, что кто-нибудь хотя бы загуглит по наводке.

Даже если у вас на обучении кривые вероятности, о каких новых данных может идти речь. А бустинг и форест сильно грешат этим. Бустинг слишком самоуверен, форест недоуверен. При условии, конечно, что вообще планируете использовать порог.

Я сам наблюдал, как при увеличении порога, качество сделок не улучшается даже на трейне. Тогда вероятность чего модель возвращает? Ничего :)

На картинке Саныча самоуверенный бустинг, видно по выбросам краевых столбцов. Впадина должна быть более плавной. Это переобучения модель.

Это train - показан исход модели на диапазонах "вероятности" с шагом 0,05. CatBoost достаточно точно ставит разделение классов на 0,5 (магнетта - 1, аква - 0).

Можно видеть, что фин результат положительный начинается при 0,35 - зелёная кривая подымается над красной.

Вы именно это хотите калибровать - смещение точки разделения классов к точки получения доходов?

 
Aleksey Vyazmikin #:

Вы именно это хотите калибровать - смещение точки разделения классов к точки получения доходов?

Нет.
 
Ля.. Тут 30 раз спросить не лень, но раз загуглить впадлу
 
Maxim Dmitrievsky #:
Нет.

Тогда какая цель?

 

Про калибровку, думаю, все всё давно уже слышали, но практического толка в ней нет, как раз по причине не репрезентативности выборки.

Вероятностная оценка отдельных листьев, на мой взгляд, даёт более обоснованный результат, чем перевзвешивание суммы листьев модели.

 
Aleksey Vyazmikin #:

Про калибровку, думаю, все всё давно уже слышали, но практического толка в ней нет, как раз по причине не репрезентативности выборки.

Вероятностная оценка отдельных листьев, на мой взгляд, даёт более обоснованный результат, чем перевзвешивание суммы листьев модели.

Все все слышали, но никто ничего не ответил. Не говоря уже о других нюансах, которые не раскрыты, а только догадались что оказывается вон оно че.

А если у вас слабая (с низким матожиданием), но стабильная на ООС модель, калибровать тоже нет смысла? А если задуматься..
 
Maxim Dmitrievsky #:
Все все слышали, но никто ничего не ответил. Не говоря уже о других нюансах, которые не раскрыты, а только догадались что оказывается вон оно че.

А если у вас слабая (с низким матожиданием), но стабильная на ООС модель, калибровать тоже нет смысла? А если задуматься..

Сейчас пришла идея о постоянной каллибровке, с каким то весом - нечто типа EMA для каждого интервала. Тогда хоть будет эффект адаптации под изменчивость рынка и устаревание модели.

В статичной калибровке на каких то отдельно взятых данных - не вижу смысла. На своих предикторах я исследовал вопрос устойчивости статистических показателей, и таких мало, и модель кишит такими непостоянными предсказателями. Поэтому я и ищу устойчивость, к которой можно будет применять нечто подобное...

На скрине выше я показал модель в разрезе - можете видеть, какой низкий Recall по краям обычно, что уже говорит о не равных статистических показателях для того же взвешивания, а зачастую их будет недостаточно, что бы как то точно говорить, даже в теории, об устойчивости в этом диапазоне "вероятности". Поэтому и с этой точки зрения калибровка суммарного показателя выглядит сомнительной затеей.

Меня больше занимает идея перевзвешивания значений в листьях, впрочем, я уже писал ранее об этом, но обратной связи не получил тут - поэтому всё сам - да сам...

 
Опять какие-то новые определения.
Последний раз: классификатор калибруется потому, что на выходе он отдает некорректные вероятности. Они бессмысленные в изначальном виде. Переспите с этим.
Причина обращения: