Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 3357

 
Maxim Dmitrievsky #:
De nuevo algunas definiciones nuevas.
Una última vez: el clasificador está calibrado porque produce probabilidades incorrectas. No tienen sentido en su forma original. Supéralo.

No me lo aguanto.

No existe una probabilidad abstracta, léase de referencia, perfecta, que no esté ligada a un proceso aleatorio.

No existe tal cosa.

La probabilidad de que se lance una moneda, etc.

Por lo tanto, cualquier clasificador da una probabilidad que caracteriza a ese clasificador en particular, lo que da la característica que necesitamos: el error de predicción. Otro clasificador dará otras probabilidades con su correspondiente error de predicción de clase.

En función de los predictores y sus etiquetas asociadas, así como del equilibrio de clases, se plantea el problema de fijar un umbral para dividir las probabilidades en clases. Las herramientas para esta operación, denominada "calibración", se indican más arriba. También es posible hacerlo de forma koljosiana.

En cualquier caso, puede reducir significativamente el error de predicción de las probabilidades dadas por un clasificador concreto, porque no hay otras probabilidades en la naturaleza cuando se trabaja con un clasificador concreto. Si no te gustan las probabilidades, trabaja con un clasificador o haz una calibración. No hay lugar para las probabilidades "perfectas" en este proceso concreto, que no existen teóricamente.

Una cosa que está clara es que dividir en clases por un umbral de 0,5 es muy cuestionable y rara vez funciona.

 
СанСаныч Фоменко #:

No podría aceptarlo.

Las probabilidades dadas por el clasificador no tienen sentido. No son probabilidades. Si las necesitas, no puedes usarlas. No corras delante de la locomotora y llenes este hecho de nuevos significados. Al menos afróntalo.
 
СанСаныч Фоменко #:

No pude soportarlo.

No existe una probabilidad abstracta, léase de referencia, ideal, que no esté ligada a un proceso aleatorio.

No existe tal cosa.

La probabilidad de que se lance una moneda, etc.

Así que cualquier clasificador da una probabilidad que caracteriza a ese clasificador en particular, lo que da la característica que necesitamos: el error de predicción. Otro clasificador dará otras probabilidades con el correspondiente error de predicción de la clase.

En función de los predictores y sus etiquetas asociadas, así como del equilibrio de clases, se plantea el problema de fijar un umbral para dividir las probabilidades en clases. Las herramientas para esta operación, denominada "calibración", se indican más arriba. También puede hacerse de forma koljosiana.

En cualquier caso, puede reducir significativamente el error de predicción de las probabilidades dadas por un clasificador concreto, porque no hay otras probabilidades en la naturaleza cuando se trabaja con un clasificador concreto. Si no te gustan las probabilidades, trabaja con un clasificador o haz una calibración. En este proceso concreto no hay lugar para las probabilidades "perfectas", que no existen teóricamente.

Una cosa que está clara es que dividir en clases por un umbral de 0,5 es muy cuestionable y rara vez funciona.

Ahí estamos hablando de errores matstáticos comunes cuando se utiliza el modelo de probabilidad equivocado. Por ejemplo, si el ruido en la regresión en realidad tiene distribución de Laplace, y calculamos como para una gaussiana, obviamente habrá errores.

PS. En realidad, se trata de volver a los orígenes probabilísticos del MO, que, por cierto, se llamó (al menos en la URSS) aprendizaje estadístico en sus primeros días.)

 

Ya he descrito el ejemplo más arriba. Hay un clasificador que pasa el OOS, pero los rendimientos se distribuyen 60/40. No te gusta, subes el umbral de decisión, pero la situación no cambia, y a veces incluso empeora. Te rascas la cabeza para saber por qué es así.

Se da una explicación de por qué es así: porque en el caso de la estimación real de probabilidades la situación debería cambiar.

Se da una solución.


 
Maxim Dmitrievsky #:

Ya he descrito el ejemplo más arriba. Hay un clasificador que pasa el OOS, pero los rendimientos se distribuyen 60/40. No te gusta, subes el umbral de decisión, pero la situación no cambia, y a veces incluso empeora. Te rascas la cabeza para saber por qué es así.

Se da una explicación: porque en el caso de una estimación de probabilidad real la situación debería cambiar.

Te dan una solución


¿No era esto obvio hace mucho tiempo?
 
Post-optimización - tampoco se sabe, ¡pero se dice colibración! Ah, sí.
 
Maxim Dmitrievsky #:

Ya he descrito el ejemplo más arriba. Hay un clasificador que pasa el OOS, pero los rendimientos se distribuyen 60/40. No te gusta, subes el umbral de decisión, pero la situación no cambia, y a veces incluso empeora. Te rascas la cabeza para saber por qué es así.

Se da una explicación: porque en el caso de una estimación de probabilidad real la situación debería cambiar.

Se da una solución.


Sin embargo, me gustaría señalar que la calibración no será la panacea y no es gratuita: se necesitan buenas propiedades del clasificador existente. Para no entrar en explicaciones, citaré su segunda referencia sobre SHAD. "En general, se puede demostrar que este método funciona bien si, para cada una de las clases verdaderas, las probabilidades predichas se distribuyen normalmente con igual varianza". Esto se refiere a la calibración de Platt, pero seguramente también deben cumplirse algunas condiciones para las demás.

En realidad, todo es como en matstat: las propiedades probabilísticas del modelo utilizado deben corresponder a los datos estudiados.

 
Aleksey Nikolayev #:

Sin embargo, me gustaría señalar que la calibración no será la panacea y no es gratuita: se necesitan buenas propiedades del clasificador existente. Para no entrar en explicaciones, citaré su segunda referencia sobre SHAD. "En general, puede demostrarse que este método funciona bien si, para cada una de las clases verdaderas, las probabilidades predichas se distribuyen normalmente con igual varianza". Esto se refiere a la calibración de Platt, pero seguramente también deben cumplirse algunas condiciones para las demás.

En realidad, todo es como en matstat: las propiedades probabilísticas del modelo utilizado deben corresponder a los datos estudiados.

Por supuesto, esto es sólo una manera de hacer que los resultados sean probabilísticos, porque el uso de las probabilidades del modelo en bruto es inútil.

 
Discutido hace tiempo, acabó con la sobreoptimización de f-y :)
 
Andrey Dik #:
Discutido este tema en los días de Porksaurus, Matemat, Granito y Metadriver, que es hace mucho tiempo.
No he visto este tema de ellos, tal vez me lo perdí (yo solía leer Cyberpaw más). Se trata de modelos que producen distribuciones de probabilidad como salidas, en lugar de valores numéricos específicos. No quiere decir que sea un enfoque completamente nuevo, pero en los últimos años ha habido un notable aumento de interés en este tema.