Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 3117

 
Maxim Dmitrievsky #:

con los nuevos datos, es mejor

si establecemos umbrales de probabilidad en el modelo único inicial como

> 0,7 compra

< 0.3 venta

entonces también será mejor tanto en la prueba y traine, y habrá menos operaciones, naturalmente ...

¿el segundo modelo realmente da algo? tengo curiosidad...

¿Hubo pruebas, comparaciones?

 
Maxim Dmitrievsky dirección de la operación y un metamodelo que predice la probabilidad de ganar (operar o no operar):

Llamemos al primer modelo el modelo principal, que divide el espacio de características en compra/venta con una línea negra. Y el segundo es un metamodelo que divide el espacio total de características en operar/no operar (línea roja).

Ahora imaginemos otra variante, cuando hay dos metamodelos y cada uno de ellos divide los diferentes espacios de características de las clases COMPRA y VENTA en comercio/no comercio por separado (dos líneas rojas).

Una cuestión puramente teórica "para reflexionar" es si la segunda opción es mejor. Y si es mejor, por qué. Por favor, coméntelo.

Una pregunta, probablemente, incluso a Alexei Nikolaev, cómo se puede determinar el efecto de tal "intervención". Al fin y al cabo, obtendremos 2 distribuciones de probabilidad de dos metamodelos, que se pueden comparar/evaluar/distribuir por esquinas.

Este es un planteamiento ambiguo del problema.

Resulta que creemos más en el segundo modelo probabilístico que en el primero, y utilizamos el segundo modelo como filtro para el primero.

O tratamos la situación como una operación "Y", es decir, de intersección de resultados.


Es un callejón sin salida, ya lo he hecho.


No he conocido ningún modelo que dé una dirección, porque si la da, incluso externamente, es el resultado de la regularización de la probabilidad de dirección. Por eso se sugiere el enfoque estándar para R llamado "ensemble de modelos", cuando los resultados de dos o muchos modelos, por así decirlo, de primer nivel, se utilizan como predictores en algún algoritmo de clasificación de segundo nivel. Por cierto, si tanto te gustan las variables categóricas, también puedes introducirlas en la entrada de un clasificador. Si es posible clasificar los resultados de los modelos por nivel de confianza, se puede ajustar mediante pesos. Es decir, el segundo nivel es un clasificador que utiliza los resultados de la clasificación del modelo de primer nivel como predictores. Este enfoque es muy interesante para clases desequilibradas obtenidas por alguna regularización distinta de 0,5, por ejemplo, dividimos el resultado del clasificador como probabilidad por cuantiles con valores de 0,4 y 0,6. El medio queda fuera del mercado.

 
mytarmailS #:

si en el modelo único inicial ponemos umbrales de probabilidad como

> 0,7 comprar

< 0,3 vender

entonces también será mejor tanto en la prueba y traine, y habrá menos operaciones de forma natural....

¿Realmente da algo el segundo modelo? Me pregunto...

¿Ha habido pruebas, comparaciones?

Imagínese que usted ha entrenado el primer modelo a través de la validación cruzada, y poner todas las predicciones erróneas en el segundo modelo como para no operar. Usted ya tiene una significación estadística que el primer modelo es más a menudo mal en ciertos lugares, y siempre comercia bien en algunos lugares. Esto puede ser filtrado por el segundo. A través de un modelo ya es más difícil de hacer. Hay otras variantes de este tipo de ajuste.
 
Maxim Dmitrievsky #:
Imagínese que ha entrenado el primer modelo mediante validación cruzada, y que ha puesto todas las predicciones incorrectas en el segundo modelo como no-trade. Usted ya tiene significación estadística que el primer modelo es más probable que se equivoque en ciertos lugares, que pueden ser filtrados por el segundo modelo. A través de un modelo ya es más difícil hacerlo. Hay otras variantes de este tipo de ajuste.

Bueno, eso suena razonable.

 
mytarmailS #:

Bueno, eso suena razonable.

Aunque el segundo modelo también sea erróneo, sigue corrigiendo de algún modo los errores del primero en este caso, sí, algo así. En la inferencia de Kozul hay una justificación más rigurosa de sus planteamientos. Yo diría que perfectamente justificados con rigor.

https://en.wikipedia.org/wiki/Frisch%E2%80%93Waugh%E2%80%93Lovell_theorem

 
Forester #:
No lo he probado. Intuitivamente) Pero como decía Marx: la práctica es el criterio de la verdad. Si te funciona en la práctica - bien).

Estoy tratando de cambiar a la segunda opción, en el proceso.

 
СанСаныч Фоменко #:

Un planteamiento ambiguo del problema.

Resulta que creemos más en el segundo modelo probabilístico que en el primero, el segundo modelo se utiliza como filtro para el primero.

O interpretamos la situación como una operación "Y", es decir, de intersección de resultados.


Un camino sin salida, ya lo hemos recorrido.


No he encontrado ningún modelo que dé una dirección, porque si la dan aunque sea externamente, es el resultado de la regularización de la probabilidad de dirección. Por eso se sugiere el enfoque estándar para R llamado "conjunto de modelos", cuando los resultados de dos o muchos modelos, por así decirlo, del primer nivel, se utilizan como predictores en algún algoritmo de clasificación del segundo nivel. Por cierto, si a uno le gustan tanto las variables categóricas, también se pueden introducir en la entrada de un clasificador. Si es posible clasificar los resultados de los modelos por nivel de confianza, se puede ajustar mediante pesos. Es decir, el segundo nivel es un clasificador que utiliza los resultados de la clasificación del modelo de primer nivel como predictores. Este enfoque es muy interesante para las clases desequilibradas obtenidas por alguna regularización distinta de 0,5, por ejemplo, dividimos el resultado del clasificador como probabilidad por cuantiles con valores de 0,4 y 0,6. El medio queda fuera del mercado.

Ensemble está cerca en significado pero lejos en implementación. Dado que el enfoque propuesto se puede utilizar de diferentes maneras para obtener diferentes resultados, es muy flexible.

También hice ensembles, pero no funcionó.

 
Maxim Dmitrievsky #:
Imagínese que ha entrenado el primer modelo mediante validación cruzada, y que ha puesto todas las predicciones incorrectas en el segundo modelo como no-trade. Usted ya tiene significación estadística que el primer modelo es más probable que se equivoque en ciertos lugares, que pueden ser filtrados por el segundo modelo. A través de un modelo ya es más difícil de hacer. Todavía hay otras variantes de este tipo de ajuste.

La idea del filtrado de errores no me queda nada clara.

¿Resulta que si el modelo predice 50/50, desechando los 50 malos el resto predice el 100%? Eso es superaprendizaje y nada más.


El error de clasificación surge del hecho de que los mismos valores de los predictores en algunos casos predicen correctamente, y en otros casos no correctamente, y este es el problema que sólo puede ser eliminado en la etapa de filtrado de la "fuerza de la relación" entre el predictor y la variable objetivo, y es completamente imposible, si Dios quiere filtrar predictores y a costa de esto reducir el error de clasificación en un 10%.

 
СанСаныч Фоменко #:

Para mí, la idea de filtrar los errores es totalmente incomprensible.

Resulta que si el modelo predice 50/50, ¿desechando los 50 malos el resto predice el 100%? Es superaprendizaje y nada más.


Error de clasificación surge del hecho de que los mismos valores de los predictores en algunos casos predicen correctamente, y en otros casos no correctamente, y este es el problema, para deshacerse de lo que puede ser sólo en la etapa de filtrado de la "fuerza de la relación" predictor y la variable objetivo, y completamente imposible, Dios mediante el filtrado de los predictores y en este gasto para reducir el error de clasificación en un 10 por ciento.

Su filosofía ha sido clara durante mucho tiempo, ¿dónde están los resultados? ) cuales son, muestramelos.

Conseguí una mejora en OOS y me alegré, sigo mejorando hasta que el enfoque se agote.
 
Maxim Dmitrievsky dirección de la operación y un metamodelo que predice la probabilidad de ganar (operar o no operar):

Llamemos al primer modelo el modelo principal, que divide el espacio de características en compra/venta con una línea negra. Y el segundo es el metamodelo, que divide el espacio total de características en operar/no operar (línea roja).

Ahora imaginemos otra variante, cuando hay dos metamodelos y cada uno de ellos divide los diferentes espacios de características de las clases COMPRA y VENTA en comercio/no comercio por separado (dos líneas rojas).

Una cuestión puramente teórica "para reflexionar" es si la segunda opción es mejor. Y si es mejor, por qué. Por favor, coméntelo.

Una petición, probablemente incluso a Alexei Nikolaev, cómo determinar el efecto de tal "intervención". Al fin y al cabo, se obtendrán 2 distribuciones de probabilidad de dos metamodelos, que se pueden comparar/evaluar/dispersar.

Si desde un punto de vista práctico, estoy de acuerdo con la opinión de Forester.

Si es desde un punto de vista puramente teórico, no se pueden contrastar los dos enfoques. Para entenderlo, basta con pensar en las líneas rojas rectas de la segunda figura como partes de una única línea curva. En esencia, esto significa simplemente que la segunda opción es más flexible y compleja, lo que le da más opciones (en el buen y en el mal sentido)