Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3352

 
Maxim Dmitrievsky #:
Под всем МО подразумеваются распространенные подходы и практики. Например, вы можете получить вероятности классов для бинарной классификации? Если да, ко каким образом?

Не могу сразу вспомнить пакеты, которые НЕ выдают вероятность класса. Поэтому мне казалось, что это стандарт.

 
СанСаныч Фоменко #:

Не могу сразу вспомнить пакеты, которые НЕ выдают вероятность класса. Поэтому мне казалось, что это стандарт.

Пакетное мышление в деле. Это не те вероятности, они так называются из-за применяемых лосс ф-й, для оценки правдоподобия.

Как получить реальные вероятности классов?
 
Maxim Dmitrievsky #:
Пакетное мышление в деле. Это не те вероятности, они так называются из-за применяемых лосс ф-й, для оценки правдоподобия.

Как получить реальные вероятности классов?

Другого мышления не бывает! Используем готовые алгоритмы МО, которые сопровождаются набором дополнительных функций. Все вместе называется "пакетом".

Что такое  "реальные вероятности классов"? Например, функция 

predict(object, newdata, type = c("vector", "probs", "both","F"))
возвращает "probability class estimates". Никаких других вероятностей, кроме "оценок" алгоритм содержать не может.



 

ребятки не ссортесь, мы вас читаем

открывайте локи ;)


 
СанСаныч Фоменко #:

Другого мышления не бывает! Используем готовые алгоритмы МО, которые сопровождаются набором дополнительных функций. Все вместе называется "пакетом".

Что такое  "реальные вероятности классов"? Например, функция 

возвращает "probability class estimates". Никаких других вероятностей, кроме "оценок" алгоритм содержать не может.
Вопрос не про то, что он может. А про то, как получить достоверные вероятности классов. Чтобы вы были уверены, что при вероятности класса 0.8, 80% случаев предсказывались верно. И могли бы использовать порог, например. На выходе классификатора это не так в большинстве случаев, повторяю еще раз. Они либо завышают, либо занижают оценки “by design”. Поэтому порог не работает. Реальные вероятности - это когда не завышают и не занижают.

Вы уже показали, что не знаете. Значит есть еще к чему стремиться. Поэтому «надо осваивать все МО» и избавляться от пакетного мышления.
 

Вроде бы там речь не о точечной оценке вероятности, а об её интервальном оценивании. Для матстата это обычный подход - не просто получить конкретную числовую оценку вероятности, но ещё и получить интервал, в который истинное значение этой оцениваемой вероятности попадает с заданной точностью (вероятностью). Тут есть некоторая сложность в понимании, поскольку понятие вероятности участвует в двух разных ипостасях - как сама оцениваемая величина, так и точность её оценивания. И это совсем разные вероятности)

Хотя подробно в конформное прогнозирование не вникал и могу ошибаться.

 
Maxim Dmitrievsky #:
Вопрос не про то, что он может. А про то, как получить достоверные вероятности классов. Чтобы вы были уверены, что при вероятности класса 0.8, 80% случаев предсказывались верно. И могли бы использовать порог, например. На выходе классификатора это не так в большинстве случаев, повторяю еще раз. Они либо завышают, либо занижают оценки “by design”. Поэтому порог не работает. Реальные вероятности - это когда не завышают и не занижают.

Это у Вас не так. приведенная цифра 0.8 - это одно из значений вероятности класса.  Вот гистограмма вероятностей класса. 


А у меня именно так и никак иначе, потому, что если иначе, то означает о переобучении. Для меня при фиксированном пороге  несовпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ - это главный признак переобучения. У меня порог прекрасно работает. А "реальные вероятности" - это из области некой фантастики, не имеющей никакого отношения к реально существующему коду и терминологии, используемой при этом.

 
СанСаныч Фоменко #:

Это у Вас не так. приведенная цифра 0.8 - это одно из значений вероятности класса.  Вот гистограмма вероятностей класса. 


А у меня именно так и никак иначе, потому, что если иначе, то означает о переобучении. Для меня при фиксированном пороге  несовпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ - это главный признак переобучения. У меня порог прекрасно работает. А "реальные вероятности" - это из области некой фантастики, не имеющей никакого отношения к реально существующему коду и терминологии, используемой при этом.

Как вы поняли, что ваш порог прекрасно работает?
Для вас фантастика, а для кого-то обыденность.
 
Aleksey Nikolayev #:

Вроде бы там речь не о точечной оценке вероятности, а об её интервальном оценивании. Для матстата это обычный подход - не просто получить конкретную числовую оценку вероятности, но ещё и получить интервал, в который истинное значение этой оцениваемой вероятности попадает с заданной точностью (вероятностью). Тут есть некоторая сложность в понимании, поскольку понятие вероятности участвует в двух разных ипостасях - как сама оцениваемая величина, так и точность её оценивания. И это совсем разные вероятности)

Хотя подробно в конформное прогнозирование не вникал и могу ошибаться.

Речь о немного ином подходе, пока еще никто не загуглил :)
 
Maxim Dmitrievsky #:
Как вы поняли, что ваш порог прекрасно работает?
Для вас фантастика, а для кого-то обыденность.
Совпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ
Причина обращения: