Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 1854

 
¿cómo es que no hay archivo OI en la bolsa? parece que hay algunos servicios de pago allí, tal vez venden
 
Maxim Dmitrievsky:
¿Cómo es que no hay un archivo de OM en la bolsa?
Ese es el punto en el que no hay archivo. Desde hace tiempo se ha sugerido que los desarrolladores incluyan la OM en la copiadora que se puede tomar de la historia. Pero aparentemente hay algunas restricciones. Como opción, puedo pedirle al tipo que me hizo un asesor. Lo escribe todo el tiempo, pero no para todos los símbolos. Dejé de escribirlo sólo por el mal funcionamiento del indicador :-(.
 

He descubierto una característica extraña en el comportamiento de los diferentes métodos de detección de errores. Modelo de regresión. Aprendizaje con el profesor y = 0 o 1. Datos del Titanic.

   oob   RMSEr     AvgEr     AvgRelEr    Train  RMSEr     AvgEr     AvgRelEr

        0.409762  0.333394  0.431368          0.406325  0.330199  0.430042
        0.384805  0.293965  0.377680          0.380747  0.289936  0.377605
        0.383891  0.286546  0.356373          0.370912  0.275152  0.358349
        0.370671  0.261466  0.321370          0.353781  0.250322  0.326013
        0.380332  0.259588  0.299060          0.337633  0.227993  0.296931
        0.388428  0.248587  0.245976          0.309293  0.191325  0.249176
        0.401764  0.237416  0.195562          0.273932  0.150077  0.195456

Para Train todo es como debe ser, cuanto más fuerte enseñemos, menos errores para todos los métodos.

En OOV , el error RMSE alcanza 0,370671 y luego comienza a aumentar, lo que indica que el sobreentrenamiento ha comenzado. Pero AvgEr y AvgRelEr siguen bajando. Me parece que todos los errores deberían comportarse de forma sincronizada, es decir, deberían haber empezado a aumentar junto con el RMSE.
Fórmulas de cálculo:

for (r=0;r<rows;r++){
  RMSEr += Sqr (pred[r] - y[r]);
  AvgEr += fabs(pred[r] - y[r]);
}
//После суммирования:
RMSEr= sqrt(RMSEr / rows);
AvgEr = AvgEr / rows;

Los cálculos son muy parecidos ( el cuadrado (Sqr) y el módulo de valor (fabs) quitan el signo ), pero el comportamiento de las curvas es diferente...
Repitiendo el entrenamiento con el modelo de clasificación, también tiene un mínimo en el punto en el que el RMSE alcanza 0,370671.
¿Alguien se ha encontrado con este comportamiento de los errores? ¿Cómo se puede explicar?

 
elibrarius:

He descubierto una característica extraña en el comportamiento de los diferentes métodos de detección de errores. Modelo de regresión. Aprendizaje con el profesor y = 0 o 1. Datos del Titanic.

Para Train todo es como debe ser, cuanto más fuerte enseñemos, menos errores para todos los métodos.

En OOV , el error RMSE alcanza 0,370671 y luego comienza a aumentar, lo que indica que el sobreentrenamiento ha comenzado. Pero AvgEr y AvgRelEr siguen bajando. Me parece que todos los errores deberían comportarse de forma sincronizada, es decir, deberían haber empezado a aumentar junto con el RMSE.
Fórmulas de cálculo:

Los cálculos son muy parecidos ( el cuadrado (Sqr) y el módulo de valor (fabs) quitan el signo ), pero el comportamiento de las curvas es diferente...
Repitiendo el entrenamiento con el modelo de clasificación, también tiene un mínimo en el punto en el que el RMSE alcanza 0,370671.
¿Alguien se ha encontrado con este comportamiento de los errores? ¿Cómo se puede explicar?

Y esto es realmente un tema cuando el error se reduce por primera vez durante la optimización y por lo tanto comienza a crecer. En teoría, si asumimos que el sobreentrenamiento comienza cuando el error empieza a crecer, entonces deberíamos dejar de entrenar justo antes de que el error empiece a crecer. Es una cuestión del método de detección en sí mismo. Los métodos de evaluación que se aplicarán son otra cuestión, pero el hecho de que el error empiece a crecer como señal del inicio de la reconversión es una genialidad. sin ningún tipo de sarcasmo :-) Ahora estaré pensando en lo que hará posible...
 
Mihail Marchukajtes:
Y esto es realmente un tema cuando durante la optimización el error disminuye al principio y por lo tanto comienza a crecer. De forma puramente teórica, si asumimos que al principio del crecimiento del error comienza el sobreentrenamiento, entonces de hecho deberíamos dejar de entrenar en el mismo momento en que el error comienza a crecer o justo antes. Es una cuestión del método de detección en sí mismo. Los métodos de evaluación que se aplicarán son otra cuestión, pero el hecho de que el error empiece a crecer como señal del inicio de la reconversión es una genialidad. sin ningún tipo de sarcasmo :-) Ahora estaré pensando en lo que hará posible...

Este es un método conocido desde hace mucho tiempo para determinar el sobreentrenamiento, creo que desde hace unos 50 años, es decir, desde los inicios de las redes neuronales y los árboles. Véanse los artículos de V. Perervenko, por ejemplo.
No tengo claro en esta situación el diferente comportamiento de los errores. Por el RMSE podemos determinar el inicio del reentrenamiento, por otros no.

 
elibrarius:

Este es un método conocido desde hace mucho tiempo para determinar el sobreentrenamiento, creo que desde hace unos 50 años, es decir, desde los inicios de las redes neuronales y los árboles. Véanse, por ejemplo, los artículos de V. Perervenko.
No tengo claro en esta situación el diferente comportamiento de los errores. Por el RMSE se puede determinar el inicio del reentrenamiento, por otros no.

Sí. Me encanta esto :-)
 
elibrarius:

He descubierto una característica extraña en el comportamiento de los diferentes métodos de detección de errores. Modelo de regresión. Aprendizaje con el profesor y = 0 o 1. Datos del Titanic.

Para Train todo es como debe ser, cuanto más fuerte enseñemos, menos errores para todos los métodos.

En OOV el error RMSE alcanza 0,370671 y luego comienza a crecer diciendo que el sobreentrenamiento ha comenzado. Pero AvgEr y AvgRelEr siguen bajando. Me parece que todos los errores deberían comportarse de forma sincronizada, es decir, deberían haber empezado a aumentar junto con el RMSE.
Fórmulas de cálculo:

Los cálculos son muy parecidos ( el cuadrado (Sqr) y el módulo de valor (fabs) quitan el signo ), pero el comportamiento de las curvas es diferente...
Repitiendo el entrenamiento con el modelo de clasificación, también tiene un mínimo en el punto en el que el RMSE alcanza 0,370671.
¿Alguien se ha encontrado con este comportamiento de los errores? ¿Cómo se puede explicar esto?

Es como la SMA y la EMA, el AvrEr es más retrasado - lo tomo - un juego de números.

 
¿Alguien ha tratado con Keras, cómo preparar los datos para LSTM?
 
Mihail Marchukajtes:
Esa es la cuestión: no hay archivo. Llevamos mucho tiempo sugiriendo que los desarrolladores incluyan la OM en el cuaderno de notas para que se pueda sacar de la historia. Pero parece que hay algunas restricciones. Como opción, puedo preguntarle al tipo que lo hizo por mí. Lo escribe todo el tiempo, pero no para todos los símbolos. Dejé de escribirlo únicamente por el mal funcionamiento del indicador :-(.

Misha, he grabado un vídeo para ti.

 
Maxim Dmitrievsky:

Misha, te he hecho un vídeo, lo subiré pronto.

Adelante. A ver qué tipo de bestia :-)