Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 57

 
Yury Reshetov:
Pues bien, la sostenibilidad se consigue evitando el posible sobreaprendizaje. Y una muestra de entrenamiento desequilibrada es una causa potencial de sobreentrenamiento para las clases poco representativas. Al fin y al cabo, el algoritmo de aprendizaje trata de actuar como le parece, no como necesita para aumentar la generalizabilidad. Si la muestra está desequilibrada, se minimizarán los errores de aprendizaje en las clases menos representativas, porque los ejemplos de estas clases son pocos y es más fácil memorizarlos en lugar de generalizar. Después de este aprendizaje memorístico, no hay que sorprenderse de que, fuera de la muestra de entrenamiento, los errores del algoritmo se produzcan con mayor probabilidad en las clases que no son representativas.
No tengo nada en contra de equilibrar la muestra de formación. No tengo nada en contra de tomar una submuestra aleatoria para la validación sin cortar por fechas. Sobreestimaría la métrica de la validación.
 
Alexey Burnakov:

La idea es sencilla. En la vida real, nadie le permitirá tomar una muestra mixta que contenga observaciones del futuro para evaluar la calidad del comercio real. Todas las observaciones irán después del día X.

Por lo tanto, al tomar una muestra mixta en la validación (sin separación de fechas), se está sobreestimando la métrica de calidad en la validación. Eso es todo. Entonces habrá sorpresas desagradables.

¿Qué tiene que ver el pensamiento con esto? El pensamiento es subjetivo. El pensamiento puede ser tanto correcto como deliberadamente erróneo. Porque la imaginación es problemáticamente limitada. El criterio de la verdad es siempre la experiencia.

Tome dos muestras de entrenamiento, una preequilibrada y otra muy desequilibrada. Entrene el algoritmo en ambas muestras y mida la capacidad de generalización en las partes de prueba. A continuación, compara la capacidad de generalización. El que dé la mejor capacidad de generalización será el criterio de verdad.

De lo contrario, estaremos pensando y especulando hasta perder el pulso. Después de todo, el desacuerdo nace en el debate, la verdad nace en la experiencia.

Así que he terminado con la discusión del tema de la muestra de formación equilibrada. Por lo demás, este coro puede continuar indefinidamente, ya que hay dos opiniones diferentes y seguir midiendo quién de los dos piensa más correctamente es una pérdida de tiempo.

 
Yury Reshetov:
Pues bien, la estabilidad se consigue evitando el sobreentrenamiento. Y el desequilibrio de la muestra de entrenamiento es una razón potencial para el sobreentrenamiento de las clases poco representativas. Al fin y al cabo, el algoritmo de aprendizaje trata de actuar como le parece, no como necesita para aumentar la generalizabilidad. Si la muestra está desequilibrada, se minimizarán los errores de aprendizaje en las clases menos representativas, porque los ejemplos de estas clases son pocos y es más fácil memorizarlos en lugar de generalizar. Después de este aprendizaje memorístico, no es de extrañar que fuera de la muestra de entrenamiento, los errores del algoritmo en las clases menos representativas sean los más probables.

1. En las clases desequilibradas, es un desastre: el error entre las clases puede divergir varias veces. ¿Y cuál es la correcta?

2. No siempre es posible equilibrar las clases.

Su ejemplo con BUY|SELL. Cuando el número de observaciones (barras) es superior a 3000, la diferencia de desequilibrio será del 10%, como máximo del 20%. Es muy posible equilibrar.

Y aquíDr.Trader ha sugerido la variable objetivo "Pivot/Not Pivot". Creo que lo tomó de ZZ. Así que en esta variable objetivo, las clases desequilibradas variarán en órdenes de magnitud. Si aumentamos hasta el máximo de la clase, ¿podemos enseñar en una muestra tan equilibrada? Me parece que no.

Así que no es tan sencillo con el equilibrio.

Por mi propia experiencia:

  • si el desequilibrio no es grande (no más del 20%), el equilibrio es obligatorio.
  • Si el desequilibrio es grande (múltiple), entonces no se puede equilibrar y no se debe utilizar esta variable objetivo en absoluto.

No pude encontrar otras soluciones.

 
Yury Reshetov:
Voy a dejarlo todo y convertirme en un adepto a la R para poder jugar a los números con una cara seria.
Hasta ahora no me he dado cuenta de que juegues con números, pero no sé si con la cara.
 
SanSanych Fomenko:
Hasta ahora no me he dado cuenta de que juegas a los números, pero no sé lo de la cara, no lo veo.
Bueno, tengo una cara muy seria en mi avatar, ¿no? Al menos me esforcé por hacerlo lo más serio posible. Pero aparentemente no resultó muy bien, ¿verdad?
 
Yury Reshetov:

¿Qué tiene que ver el pensamiento con esto? El pensamiento es subjetivo. El pensamiento puede ser tanto correcto como deliberadamente erróneo. Porque la imaginación es problemáticamente limitada. El criterio de la verdad es siempre la experiencia.

Tome dos muestras de entrenamiento, una preequilibrada y otra muy desequilibrada. Entrene el algoritmo en ambas muestras y mida la capacidad de generalización en las partes de prueba. A continuación, compara la capacidad de generalización. El que dé la mejor capacidad de generalización será el criterio de verdad.

De lo contrario, estaremos pensando y especulando hasta perder el pulso. Al fin y al cabo, el desacuerdo nace en la discusión y la verdad nace en la experiencia.

Y por lo tanto, he terminado con cualquier otra discusión sobre el tema de equilibrar la muestra de formación. De lo contrario este cholivar puede continuar indefinidamente ya que hay dos opiniones diferentes y seguir midiendo a quien de nosotros piensa correctamente - una pérdida de tiempo.

Yo quiero decir una cosa, tú otra. Yo digo que deberíamos dividir el conjunto estrictamente por fechas. Y tú hablas de equilibrio.
 
Alexey Burnakov:
Yo quiero decir una cosa, tú otra. Yo digo que hay que dividir el conjunto estrictamente por fechas. Y tú hablas de equilibrio.

Lo siento, pero ya he dicho que no veo el sentido de seguir con este coro. Ya he intentado explicar las deficiencias del equilibrio con ejemplos. Probablemente no sea muy convincente, ¿verdad? No se me da bien la retórica negra, así que no puedo convertir lo negro en blanco con una expresión facial seria. Así que no seas demasiado duro conmigo.

¿Es más probable que intente convencerme de que supuestamente intenta "obligarle" a equilibrar la realidad? Pero no tengo esa intención. Sé que la realidad es, por desgracia para mí, a menudo desequilibrada y las oportunidades de equilibrarla no siempre están disponibles. Por eso en mis posts traté de explicarte que no es necesario tratar de equilibrar la realidad fuera de la muestra de entrenamiento, pero sí es necesario y suficiente equilibrar la muestra de entrenamiento, para que el modelo que se obtenga de ella no esté sesgado en la dirección de las clases altamente representativas. Al dividir la muestra general en partes por fechas, también suele ser imposible lograr un equilibrio. Por eso equilibro la muestra de formación no por fechas, sino por la misma representatividad de las clases en ella.

No voy a responder a más preguntas sobre el equilibrio del conjunto de entrenamiento. Así que este coro ya se ha alargado.

 
Yury Reshetov:

Lo siento, pero ya he dicho que no veo el sentido de seguir con este coro. Ya he intentado explicar las deficiencias del equilibrio con ejemplos. Probablemente no sea muy convincente, ¿verdad? No se me da bien la retórica negra, así que no puedo convertir lo negro en blanco con cara de circunstancias. Así que no seas demasiado duro conmigo.

¿Es más probable que intente convencerme de que supuestamente intenta "obligarle" a equilibrar la realidad? Pero no tengo esa intención. Sé que la realidad es, por desgracia para mí, a menudo desequilibrada y que las oportunidades de equilibrarla no siempre están disponibles. Por eso en mis posts traté de explicarte que no es necesario tratar de equilibrar la realidad fuera de la muestra de entrenamiento, pero sí es necesario y suficiente equilibrar la muestra de entrenamiento, para que el modelo que se obtenga de ella no esté sesgado en la dirección de las clases altamente representativas. Al dividir la muestra general en partes por fechas, también suele ser imposible lograr un equilibrio. Por lo tanto, equilibro la muestra de formación no por fechas, sino por la misma representatividad de las clases en ella.

No voy a responder a más preguntas sobre el equilibrio del conjunto de entrenamiento. Así que ya nos estamos metiendo en un barullo.

OK . No te voy a convencer.
 

Quiero intervenir para completar el cuadro y reiterar mi opinión sobre el hilo.

1. Es necesario tener dos conjuntos de datos: el segundo es una extensión del primero en el tiempo.

2. Equilibra el primer conjunto de datos. Definitivamente lo equilibramos.

3. Dividimos aleatoriamente el primer conjunto de datos en tres partes: entrenamiento, prueba y validación.

  • Enseñamos el modelo utilizando la validación cruzada en el conjunto de datos de entrenamiento.
  • Ejecutamos el modelo entrenado a través de los conjuntos de prueba y validación.
  • Si el error en los tres conjuntos es aproximadamente igual, se pasa al punto 4. En caso contrario, se procede a buscar más predictores decentes, ya que una diferencia significativa en el error demuestra que el modelo está sobreentrenado debido a la presencia de predictores de ruido (que tienen una relación débil con la variable objetivo).

4. Obtenemos un error en el segundo conjunto, que es una continuación del primer conjunto en el tiempo.

Si el error en los CUATRO conjuntos es más o menos el mismo, entonces el modelo no se vuelve a entrenar. Si el error tiene un valor decente, podemos ir más allá, es decir, pasarlo por el probador.

Si hay una diferencia significativa (más del 30%), entonces el conjunto de predictores original lleva a un reentrenamiento del modelo y, por experiencia personal, reemplazar el tipo de modelo no puede arreglar nada, en términos de reentrenamiento. Tenemos que deshacernos de los predictores de ruido. Puede ocurrir fácilmente que no haya NINGÚN predictor de ruido entre los predictores.

 
Voy a apoyar su conversación señores, porque he estado usando el optimizador de Yuri desde hace más de un año y estoy absolutamente de acuerdo con él sobre el muestreo con el generador HSPF. La cuestión es que la tarea consiste en identificar la información de los datos de entrada sobre la información de salida. Es decir, el optimizador nos dice cómo de informativos son los datos de entrada para nuestra salida (que es la ideal). Es decir, el optimizador responde a esta pregunta. Y si los datos muestran un mal resultado, significa que no llevan información sobre la salida o más bien llevan a ese nivel de generalización que da el predictor. Y ahora imaginemos el siguiente caso: supongamos que tenemos 10 entradas. Pregunta, ¿cuántas entradas (stroi) debemos tener para dividir la muestra a cero???? Te daré una pista. 100 entradas con 10 entradas deberían optimizar a cero. Porque con 100 entradas será una enumeración total de datos. Quizás no me he explicado bien, pido disculpas. Ciertamente, Yuri no habla de ello, pero hay un matiz en el uso de un predictor, que no se anuncia, pero que aumenta la generalidad de cualquier dato. Es decir, para 10 entradas, dadas 100 líneas, incluso completamente irrelevantes para los datos del sistema. El algoritmo construirá un modelo en el que la generalizabilidad sea alta. En el rango del 90% y más. No es seguro que este modelo funcione adecuadamente en el futuro porque los datos se toman del techo y no se relacionan con el sistema de ninguna manera. Pero el Predictor es capaz de aserrar un espacio multidimensional con un error mínimo. Pero para ello es necesario realizar una manipulación de datos complicada. Pero estoy completamente de acuerdo con Yuri. La tarea es identificar la informatividad de las entradas con respecto a las salidas y el orden de los datos en este caso no juega ningún papel. El HSPF es una opción en este caso....