Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2843

 
СанСаныч Фоменко #:

¿A qué viene eso?

Anteriormente escribí

Foro sobre trading, sistemas automatizados de trading y prueba de estrategias de trading

Aprendizaje automático en el trading: teoría, modelos, práctica y algo-trading

Aleksey Vyazmikin, 2022.12.08:44

¿Puedes enviarme tu muestra? Tenemos la misma visión del problema del mal entrenamiento de los modelos, me gustaría comparar en qué medida tu método de selección es mejor que el mío, y si se ajusta a tu muestra.


Me respondiste que era una buena idea, pero borraste el mensaje.

 
Andrey Dik #:

Parece que tenemos ideas diferentes sobre lo básico. Lo siento. Y parece que hablamos idiomas diferentes.

Por lo que entiendo ahora, estoy hablando de modelos de aprendizaje automático y de la optimización que incorporan estos modelos. Ahí es donde empezaste tú, con las redes neuronales.

Estás discutiendo la optimización per se, que para mí no es relevante en el aprendizaje automático.


Buena suerte en tu búsqueda de un óptimo global.

 
СанСаныч Фоменко #:

Por lo que entiendo ahora, estoy hablando de modelos de aprendizaje automático y de la optimización que se incorpora a esos modelos. Ahí es donde empezaste, con las redes neuronales.

Hablas de la optimización como tal, que para mí no es relevante en el aprendizaje automático.


Buena suerte en su búsqueda del óptimo global.


Yo no necesito el óptimo global que usted está buscando y fracasando estrepitosamente con modelos sobreentrenados)))
mira el entrenamiento desde una perspectiva ligeramente diferente. has construido un modelo, predictores, shmudictores y otras cosas chulas, entrenado el modelo, y entonces no funciona en el oos. ahí lo tienes, ¡es culpa del AO otra vez!
declaro responsablemente, no es culpa del AO, es del mal modelo.
Recomiendo AO aleatorio con clasificación. tus modelos siempre estarán un poco borrachos, un poco desentrenados. garantizado.
 
СанСаныч Фоменко #:

He llegado a la idea más importante: existe una conexión innegable entre la optimización y el reentrenamiento del modelo. El modelo debe dejarse siempre bastante "tosco" y, desde luego, no se necesitan óptimos globales.

Rechazar simplemente un óptimo global no evitará, obviamente, el sobreajuste. El sobreajuste consiste en una adaptación demasiado grande del modelo a esta muestra concreta, en detrimento de la regularidad existente. Se produce debido a la gran flexibilidad de casi todos los algoritmos de MO. Por lo tanto, la forma estándar de tratarla es introducir una penalización por flexibilidad excesiva del modelo en el criterio de optimización (regresión lasso, como ejemplo). Se puede simplemente restringir la flexibilidad del modelo de forma prescriptiva, pero matemáticamente no es más que una penalización más rígida.

Esto, por cierto, es un buen ejemplo de por qué debería ser posible crear criterios personalizados.

Preferir un extremo global a una meseta es un poco diferente. Ya no se trata de sobreajustarse a una muestra concreta a expensas de la dependencia existente e invariable. Aquí estamos hablando del hecho de que debido a la no estacionariedad de los precios (lo que escribiste al principio) la dependencia cambia y necesitamos buscar valores estables (robustos) de los parámetros que sigan siendo lo suficientemente buenos incluso con pequeños cambios en la dependencia.

No es necesario mezclar todo en un montón.

SanSanych Fomenko #:

Cuando busco una lista aceptable de predictores - optimización en el sentido de los pantalones. Pero el significado es bastante diferente: tratar de evitar "basura dentro - basura fuera". Aquí hay una diferencia cualitativa con intentar encontrar el algoritmo "correcto" que encuentre el óptimo global. Ningún óptimo global dará un TS rentable sobre la basura.

La elección de pantalones es un ejemplo de optimización multicriterio: la elección se hace por longitud, talla, color, tejido, precio, marca, etc.) Está claro que no se construye la superficie de Pareto, pero hay una mezcla implícita en la cabeza del comprador de todos los criterios en un compromiso. Lo mismo ocurre con la selección de características. La diferencia importante con los pantalones es que aquí será útil una formalización explícita del criterio de optimalidad del compromiso, ya que confiar constantemente en la intuición conducirá a fallos imprevisibles.

 

si el modelo funciona, tiene ajustes con los que funciona bien con datos desconocidos. también es probable que tenga ajustes que no ofrezcan un rendimiento satisfactorio en oos - este caso algunos lo llaman sobreentrenamiento. de hecho, el criterio de estimación no se ha elegido correctamente. el criterio correcto dará una curva morada para un modelo que funciona. el problema se reduce a la maximización (máximo global) del criterio de estimación correcto. en otras palabras, si encontramos el máximo global del criterio correcto. obtendremos una curva morada.

y viceversa, si el criterio se elige incorrectamente, la maximización de dicho criterio incorrecto dará una curva roja.

Y esto suponiendo que el modelo funcione, pero vemos lo importante que es el criterio de evaluación.

Pero si el modelo no funciona, entonces nada servirá, ni el criterio ni la optimización.

Así que, modelo->criterio->optimización del criterio

 
Aleksey Nikolayev #:

La elección de unos pantalones es un ejemplo de optimización multicriterio: la elección se hace en función de la longitud, la talla, el color, el tejido, el precio, la marca, etc.) Está claro que no se construye la superficie de Pareto, pero hay una mezcla implícita en la cabeza del comprador de todos los criterios en un compromiso. Lo mismo ocurre con la selección de características. La diferencia importante con los pantalones es que aquí será útil una formalización explícita del criterio de optimalidad del compromiso, ya que confiar constantemente en la intuición conducirá a fallos imprevisibles.

La selección de pantalones es un buen ejemplo de optimización basada en criterios. no todos los pantalones buenos le quedarán bien a todo el mundo. la optimización basada en el usuario proporciona los pantalones que mejor se ajustan (criterio de máximo global).

pantalones -> criterio de evaluación de los pantalones -> selección (optimización del criterio de evaluación de los pantalones)

 
Aleksey Nikolayev #:

Un simple rechazo del extremo global no evitará evidentemente el sobreentrenamiento (overfitting, sobreadaptación). El sobreentrenamiento consiste en una adaptación demasiado grande del modelo a esta muestra particular, en detrimento de la regularidad existente. Se produce debido a la gran flexibilidad de casi todos los algoritmos de MO. Por lo tanto, la forma estándar de abordarlo es introducir una penalización por flexibilidad excesiva del modelo en el criterio de optimización (regresión lasso, como ejemplo). Es posible restringir simplemente la flexibilidad del modelo de forma directiva, pero matemáticamente no es más que una penalización más estricta.

Esto, por cierto, es un buen ejemplo de por qué debería ser posible crear criterios personalizados.

Preferir un extremo global a una meseta es un poco diferente. Ya no se trata de sobreajustarse a una muestra concreta a expensas de la dependencia existente e invariable. Aquí estamos hablando del hecho de que debido a la no estacionariedad de los precios (lo que escribiste al principio), la dependencia cambia y es necesario buscar valores estables (robustos) de los parámetros que sigan siendo lo suficientemente buenos incluso con pequeños cambios en la dependencia.

No mezcles todo en un mismo montón.

La elección de unos pantalones es un ejemplo de optimización multicriterio: la elección se hace por la longitud, la talla, el color, el tejido, el precio, la marca, etc.) Está claro que no se construye la superficie de Pareto, pero hay una mezcla implícita en la cabeza del comprador de todos los criterios en un compromiso. Lo mismo ocurre con la selección de características. La diferencia importante con los pantalones es que aquí será útil una formalización explícita del criterio de optimalidad del compromiso, ya que confiar constantemente en la intuición conducirá a fallos imprevisibles.

Me alegra ver que alguien habla del tema.

 
Andrey Dik #:

Si el modelo funciona, entonces tiene ajustes con los que funciona bien en datos desconocidos. también es probable que tenga ajustes que no dan un rendimiento satisfactorio en oos - este caso algunos lo llaman sobreentrenamiento. de hecho, el criterio de estimación no se ha elegido correctamente. el criterio correcto dará una curva púrpura para el modelo que funciona. el problema se reduce a maximizar (máximo global) el criterio de estimación correcto. en otras palabras, si encontramos el máximo global del criterio correcto. obtendremos una curva púrpura.

y viceversa, si el criterio se elige incorrectamente, la maximización de dicho criterio incorrecto dará una curva roja.

Y esto suponiendo que el modelo funcione, pero vemos lo importante que es el criterio de evaluación.

Pero si el modelo no funciona, entonces nada servirá, ni el criterio ni la optimización.

Así pues, modelo->criterio->optimización del criterio

Yo distingo entre dos tipos de criterios, integrales y derivados.
.

ejemplos de criterios integrales: balance, factor de beneficio y otros. estos criterios hacen una valoración resumida sin tener en cuenta los resultados de los eventos intermedios del proceso (en trading son las transacciones). por ejemplo, dos resultados con el mismo balance final de 10000, en un caso 1000 transacciones rentables, y en el otro 999 no rentables y 1 rentable. es obvio que aunque el criterio integral es el mismo en ambos casos, pero la forma en la que se ha conseguido el resultado es coordinadamente diferente. por eso la gente suele quejarse de los criterios integrales, de que se recibe reentrenamiento, el mercado no es estacionario, etc.

un ejemplo de criterio derivado es la desviación típica de una línea de equilibrio que va desde el punto inicial hasta el punto final. este tipo de criterios, a diferencia de los integrales, tienen en cuenta los resultados intermedios del proceso. esto permite describir sin ambigüedades los requisitos del criterio.

Los criterios integrales también pueden tener derecho a serlo, ya que son aplicables a determinados tipos de sistemas (por ejemplo, cuando el número de transacciones por unidad de tiempo es prácticamente una constante).

Pero, tanto para los criterios integrales como para los derivados, debe alcanzarse un óptimo global. la elección de los criterios determina la robustez del sistema en el futuro.

Si el investigador tiene la idea de que puede ser necesario buscar no el máximo global, sino algo intermedio, en este caso es necesario reconsiderar inmediatamente los criterios de evaluación del modelo.

 
Tengo una pregunta:
¿Por qué citar el enorme texto de alguien en media página para escribir tus propias dos palabras????
No entiendo a esta gente nunca...
 
Las evaluaciones integrales casi siempre son inaplicables a las redes debido a la gran variabilidad de éstas. así pues, aplicar el criterio integral Balance en redes neuronales conducirá obviamente a malos resultados. optimice o no, seguirá obteniendo un no. pero la gente sigue echando la culpa a la optimización...