Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 596

 
Aleksey Terentev:
Pruebe la validación cruzada (K-fold).
¿Cómo ayudará a aumentar el impacto de los datos frescos?
 
elibrarius:
¿Cómo ayuda a aumentar el impacto de los datos frescos?
Piénsalo, entrenas el modelo alimentando bloques individuales de datos, lo que dará al modelo cierta independencia de la secuencia de la serie temporal, lo que hace que los nuevos datos se evalúen sin "sesgo".
 
Aleksey Terentev:
Piénsalo: enseñas el modelo alimentando bloques de datos separados, eso dará al modelo cierta independencia de la secuencia de la serie temporal y los nuevos datos se evaluarán sin "sesgo".

La "serie temporal independiente de la secuencia" está garantizada por la agitación. Sin ella, el modelo se queda en nada.

Y la cuestión es cómo aumentar la importancia de los datos más recientes al mezclarlos para que el modelo capte más rápidamente las nuevas tendencias del mercado.

 
elibrarius:

La "serie temporal independiente de la secuencia" está garantizada por la agitación. Sin ella, el modelo se queda en nada.

Y la cuestión es cómo con la mezcla aumentar la importancia de los datos más frescos, para que el modelo capte más rápidamente las nuevas tendencias del mercado.

El preentrenamiento se realiza con datos antiguos. Las últimas etapas del entrenamiento se realizan con datos nuevos.
 

¿Es decir, la formación en 2 etapas?
Entrenamiento en una gran cantidad de datos + reentrenamiento del modelo resultante en datos frescos.
Es posible intentarlo.


Tuve una idea, simplemente añadir datos frescos 2 -3 veces al conjunto total de datos de entrenamiento. Incluso barajando, la importancia aumentará.

 
elibrarius:

Me preguntaba, si todo se baraja, ¿cómo podemos hacer que los datos frescos tengan un mayor impacto en el aprendizaje?

Hay un truco para duplicar los ejemplos de entrenamiento más recientes varias veces.
Y por ejemplo en el paquete gbm se puede establecer algún coeficiente de importancia para cada ejemplo de entrenamiento, pero no es una neurona, solo puse un ejemplo.


elibrarius:

Las "series temporales independientes de la secuencia" son proporcionadas por el barajado. Sin ella, el modelo se queda en nada.

La mayoría de los modelos no tienen ninguna dependencia de la secuencia. En las neuronas, por ejemplo, se calcula un error para cada ejemplo de entrenamiento, y luego la suma de todos los errores afecta a los cambios en los pesos. La suma no cambia cuando el orden de los sumandos cambia.

Pero los modelos suelen tener el parámetro batch.size o algo similar que influye en el porcentaje de datos de entrenamiento que se tomarán para el entrenamiento. Si se toma un porcentaje muy pequeño de datos de entrenamiento y se desactiva la mezcla, el modelo tomará siempre el mismo conjunto pequeño de datos y las cosas acabarán mal. No sé sobre darch específicamente, pero desactivar la mezcla no debería causar un fallo completo, tienes algo mal con otros parámetros.


Aleksey Terentev:
Pruebe la validación cruzada (K-fold).

Estoy totalmente de acuerdo. Sean cuales sean las afirmaciones a bombo y platillo que haga el autor del modelo sobre su protección contra la sobrealimentación, sólo k-fold demostrará si es cierto o no.

 
Es el momento de redondear y sacar una conclusión.
Y mostrar la práctica.
 
Alexander Ivanov:
Es el momento de redondear y sacar una conclusión.
Y mostrar la práctica.

Próximamente... "casi listo".

esto es lo más difícil que he hecho en mi vida.

 
Maxim Dmitrievsky:

próximamente... "casi listo".

esto es lo más difícil que he hecho en mi vida.

Uf, frotando bolígrafos para probar la demo 😀👍👍👍👍 como una sabrosa y fresca tarta de la abuela😂😀
 
Imho por supuesto, pero aquí cada página de la rama, es necesario comenzar con el lema de SanSanych - "basura en - basura fuera". Y todos tus talentos cognitivos y creativos deben dirigirse en primer lugar a reducir la basura en la entrada, y sólo entonces tratar de cargar el hardware del ordenador hasta el extremo.