Обсуждение статьи "Продвинутый ресемплинг и выбор CatBoost моделей брутфорс методом" - страница 9

 
В целом, что-то улучшает. Но иметь в продакшне 50 моделей на каждом тике - это перебор
 

Вот вариант неплохого улучшения


 

Вот на датасете после ресемплинга


 

трейн везде 5 мес, валидационная 2 года, экзаменационная 5 лет

все графики за 5 лет

 

Еще раз

Ну да, есть смысл иногда.

Еще немного позапускал. Да, есть смысл стакать. Вопрос кол-ва пока открытый.

 
Maxim Dmitrievsky:

Еще раз

Ну да, есть смысл иногда.

Еще немного позапускал. Да, есть смысл стакать. Вопрос кол-ва пока открытый.

Ну вот. )

Потому Брейман и сделал случайный лес, а не лучший.

 
elibrarius:

Ну вот. )

Потому Брайман и сделал случайный лес, а не лучший.

любопытно, что эффект проявляется при использовании Accuracy при обучении

при других метриках не так очевиден

кстати, их очень много в катбусте, и я стесняюсь спросить какую лучше выбрать
 
Maxim Dmitrievsky:

любопытно, что эффект проявляется при использовании Accuracy при обучении

при других метриках не так очевиден

кстати, их очень много в катбусте, и я стесняюсь спросить какую лучше выбрать

Если  Accuracy улучшает баланс лучше всех, видимо он и есть лучший.

 
elibrarius:

Если  Accuracy улучшает баланс лучше всех, видимо он и есть лучший.

нет, есть которые получше работают

но осмысленного понимания нет

 
Maxim Dmitrievsky:

нет, есть которые получше работают

Какие?