Regresión Bayesiana - ¿Alguien ha hecho un EA utilizando este algoritmo? - página 38

 
Vasiliy Sokolov:
Suscribo cada palabra. ¿De qué sirve construir una regresión si las características de esta regresión serán absolutamente diferentes en la siguiente parte? Se puede retocar el modelo para que se ajuste a los datos todo lo que se quiera, pero es más fácil admitir simplemente que Y (precio) no depende de X (tiempo), al menos en términos de regresión lineal.

Este es otro ejemplo de sentido común.

Un compañero mío estaba estudiando Data Science en Coursera e hizo un proyecto de graduación en el que construyó una aproximación de regresión lineal sobre una serie generada aleatoriamente (una martingala, o se podría decir un proceso de Wiener con incrementos normalmente distribuidos) y demostró cómo en el siguiente segmento de la serie todos los parámetros de la regresión derivaban de forma totalmente impredecible. Problema con los juguetes.

Si tuviera que utilizar la regresión (me inclinaría por la regresión en peine, aunque no conozco muy bien el principio), lo haría sobre incrementos de precios o derivados de precios. Y entonces existe la posibilidad de obtener métricas sólidas. Pero incluso en este caso no es realista obtener residuos con distribución normal.

 
Alexey Burnakov:

Este es otro ejemplo de sentido común.

Un compañero mío estaba estudiando Data Science en Coursera e hizo un proyecto de graduación en el que construyó una aproximación de regresión lineal sobre una serie generada aleatoriamente (una martingala, o se podría decir un proceso de Wiener con incrementos normalmente distribuidos) y demostró cómo en el siguiente segmento de la serie todos los parámetros de la regresión derivaban de forma totalmente impredecible. Problema con los juguetes.

Si tuviera que utilizar la regresión (me inclinaría por la regresión en peine, aunque no conozco muy bien el principio), lo haría sobre incrementos de precios o derivados de precios. Y entonces existe la posibilidad de obtener métricas sólidas. Pero incluso en este caso es irreal obtener residuos con distribución normal.

;)

Para la regresión de cresta no se requiere la normalidad de la distribución de los residuos.

Laregresión bayesiana es similar a la regresión en peine, pero se basa en la suposición de que el ruido se distribuye normalmente en los datos, por lo que se supone que ya existe una comprensión general de la estructura de los datos, lo que permite obtener un modelo más preciso en comparación con la regresión lineal.

 
La regresión de cresta resuelve el problema de la multicolinealidad: si hay muchas variables independientes correlacionadas entre sí
 
Дмитрий:

;)

Para la regresión de cresta, no se requiere la normalidad de la distribución de los residuos.


Bueno, confieso que no conozco muy bien la subespecie de la regresión. Pero el hecho de que no se exija la normalidad de los residuos es muy bueno. Y la regresión de cresta puede ser más aplicable a los mercados. Se imponen restricciones a los valores de los coeficientes. Conozco ejemplos en los que este tipo de regresión sobre las cotizaciones dio resultados sólidos.

También existe una regresión con regulación L2 cuando es posible degenerar a cero los coeficientes de algunos regresores. Es útil cuando hay muchos regresores y necesitamos disminuir la dimensionalidad del vector de entrada.

Pero sin conocer los detalles, puede ser peligroso adentrarse en el laberinto de la matriz de regresión.

 
Дмитрий:
La regresión de cresta resuelve el problema de la multicolinealidad: si hay muchas variables independientes correlacionadas entre sí

Y este es también un aspecto extremadamente útil de la regresión de crestas.

En la práctica, conseguir la independencia entre los regresores es casi irrealmente difícil, y la presencia de colinealidad distorsiona todas las estadísticas en una regresión lineal ordinal. Por lo tanto, como señala acertadamente SanSanych, la aplicabilidad del método es lo primero.

 
Alexey Burnakov:


También existe una regresión con regulación L2, cuando es posible degenerar los coeficientes de los regresores individuales a cero. Esto es útil si hay muchos regresores y necesitamos reducir la dimensionalidad del vector de entrada.


¿Lasso-regresión? Sí, existe.

En la práctica, es más conveniente utilizar la regresión de cresta - se implementa como una regresión con inclusiones o exclusiones de factores

 
Дмитрий:

¿Regresión del lazo? Sí, existe.

En la práctica, la regresión de cresta es más conveniente - implementada como una regresión con inclusiones o exclusiones de factores

Sí, lo es.

He aquí un ejemplo de uso de regresiones robustas para predecir las cotizaciones, el tercer puesto en la competición, pero sin detalles:http://blog.kaggle.com/2016/02/12/winton-stock-market-challenge-winners-interview-3rd-place-mendrika-ramarlina/

Y otro magnífico ejemplo, en mi opinión:https://www.kaggle.com/c/battlefin-s-big-data-combine-forecasting-challenge/forums/t/5966/share-your-approach

Lee a Sergey Yurgenson y mira su código (2º puesto en otro concurso):

Mi algoritmo fue escrito en Matlab y el código se proporcionará a continuación. La idea principal del algoritmo es utilizar un modelo de regresión lineal (regresión robusta) utilizando un número reducido de predictores, que se eligen en función del valor p de las pendientes de cada predictor potencial.

Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
  • 2016.12.02
  • blog.kaggle.com
The Stock Market Challenge, Winton's second recruiting competition on Kaggle, asked participants to predict intra and end of day stock returns. The competition was crafted by research scientist at Winton to mimic the type of problem that they work on everyday. Mendrika Ramarlina finished third in the competition with a combination of simple...
 

Y sobre el tema de la regulación L1 / L2:https://msdn.microsoft.com/ru-ru/magazine/dn904675.aspx

En cualquier caso, es útil para conocerlo.

 
Alexey Burnakov:

Y este es también un aspecto extremadamente útil de la regresión de crestas.

En la práctica, conseguir la independencia entre los regresores es casi irrealmente difícil, y la presencia de colinealidad distorsiona todas las estadísticas en una regresión lineal ordinal. Por lo tanto, como señala acertadamente SanSanych, la aplicabilidad del método es lo primero.

He probado el método de componentes principales. Parece ser ideal. La transformación da como resultado un conjunto de regresores con correlación cero entre sí. Todavía es posible seleccionar los "principales" que explican la diversidad principal.

Se ha perdido mucho tiempo en las tareas de clasificación. Al menos para reducir el error en un %.

 
СанСаныч Фоменко:

He probado el método de componentes principales. Parece ser ideal. La transformación da como resultado un conjunto de regresores con correlación cero entre sí. También es posible seleccionar los "principales" que explican la principal diversidad.

Se ha perdido mucho tiempo en las tareas de clasificación. Al menos reduciría el error en un %.

Hace poco discutí con unos colegas la historia y el desarrollo de la regresión lineal. Para abreviar la historia, al principio había pocos datos y pocos predictores. Regresión lineal ordinaria manejada con algunos supuestos. Después, con el desarrollo de las tecnologías de la información, la cantidad de datos aumentó y el número de predictores podía superar fácilmente las decenas de miles. En estas condiciones, la regresión lineal ordinaria no servirá de nada: el exceso de aprendizaje. Por lo tanto, aparecieron versiones regularizadas, versiones robustas a los requisitos de las distribuciones, etc.