Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 56
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Unos cuantos años. Aquí en el hilo está su resultado.
¿Puede darme un enlace, por favor?
Al menos con una separación estricta en una muestra de entrenamiento y una muestra de prueba por fechas, en lugar de barajar las muestras con una distribución uniforme en la muestra general y luego dividirla en partes. Puede ocurrir que una parte de la muestra contenga mayoritariamente tendencias verticales, mientras que la otra parte contiene tendencias laterales. Si aplicamos la mezcla aleatoria, la probabilidad de reunir patrones similares en diferentes partes de la muestra disminuye.
Por cierto, esta desventaja también está presente en el probador de estrategias incorporado de MetaTrader, es decir, divide la muestra de entrenamiento y la prueba de avance estrictamente por fechas. Por ello, el cambio de tendencia del mercado cerca de la línea divisoria puede llevar a un sobreentrenamiento deliberado.
Así que usted, como cualquier comerciante respetable, pronunció la respuesta.
Este es el punto clave de la planificación del experimento. En realidad, hay una estricta separación en el tiempo. Así es como se prueba el modelo para el futuro en todo el sentido de la palabra.
Se denomina muestra desequilibrada y es un problema de aprendizaje automático.
Para que quede más claro, le daré un ejemplo. Supongamos que tenemos una muestra de entrenamiento en la que predominan las tendencias alcistas y, por tanto, las tendencias bajistas están menos presentes en la muestra que las alcistas, es decir, tenemos un desequilibrio.
Supongamos que tenemos 1.000 movimientos a la baja en la muestra y 10.000 movimientos al alza. Y supongamos que el error de clasificación de los movimientos ascendentes es del 10%. Pero ese diez por ciento para 10.000 ejemplos equivale a 1.000 señales falsas clasificadas como predicción de movimientos a la baja y sólo tenemos 1.000 ejemplos con movimientos a la baja en la muestra. Esto significa que, por muy precisa que sea la clasificación de un movimiento descendente, para cualquier respuesta de un clasificador que prediga un movimiento futuro como potencialmente descendente, su error será de al menos el 50%. Es decir, cuantos más ejemplos de la muestra de entrenamiento para una clase estén desequilibrados, mayor será el impacto de la clasificación errónea para esa clase en la calidad de las respuestas del clasificador para otra clase.
Por eso es muy difícil predecir fenómenos raros: terremotos, erupciones volcánicas, crisis económicas, etc. Porque si el fenómeno es muy raro y poco representativo en la muestra, cualquier error para los ejemplos de clases opuestas se vuelve excesivo para los fenómenos raros.
Por lo tanto, una muestra de entrenamiento debe ser pre-equilibrada para que contenga el mismo número de ejemplos para todas las clases. De lo contrario, es más probable que las clases poco representativas no superen las pruebas fuera del conjunto de entrenamiento. Además, al dividir la muestra general en partes de entrenamiento y de prueba, es necesario mezclar los ejemplos utilizando PRGPs con una distribución de probabilidad uniforme para evitar la aglomeración de ejemplos con predictores similares en una parte y diferentes predictores en la otra. Es decir, para evitar un desequilibrio en los predictores y no sólo en las variables dependientes.
Esto se llama muestreo desequilibrado y es un problema de aprendizaje automático.
Para que quede más claro, le pongo un ejemplo. Supongamos que tenemos una muestra de entrenamiento en la que predominan las tendencias alcistas, lo que significa que hay menos tendencias bajistas que alcistas, es decir, tenemos un desequilibrio.
Supongamos que tenemos 1.000 movimientos a la baja en la muestra y 10.000 movimientos al alza. Y supongamos que el error de clasificación de los movimientos ascendentes es del 10%. Pero ese diez por ciento para 10.000 ejemplos equivale a 1.000 señales falsas clasificadas como predicción de movimientos a la baja y sólo tenemos 1.000 ejemplos con movimientos a la baja en la muestra. Esto significa que, por muy precisa que sea la clasificación de un movimiento descendente, para cualquier respuesta de un clasificador que prediga que un movimiento futuro es potencialmente descendente, su error será de al menos el 50%. Es decir, cuantos más ejemplos de la muestra de entrenamiento para una clase cualquiera sean un desequilibrio, mayor será el impacto de la clasificación errónea para esa clase en la calidad de las respuestas del clasificador para otra clase.
Por eso es muy difícil predecir fenómenos raros: terremotos, erupciones volcánicas, crisis económicas, etc. Al fin y al cabo, si el fenómeno es muy raro y está escasamente representado en la muestra, cualquier error para los ejemplos de clases opuestas resulta excesivo para los fenómenos raros.
Por lo tanto, la muestra de entrenamiento tiene que estar equilibrada de antemano para que tenga el mismo número de ejemplos para todas las clases. De lo contrario, es más probable que las clases poco representativas no superen las pruebas fuera del conjunto de entrenamiento. Además, al dividir la muestra general en porciones de entrenamiento y de prueba, es necesario mezclar los ejemplos utilizando PRNG con una distribución de probabilidad uniforme para evitar la aglomeración de ejemplos con predictores similares en una porción y diferentes predictores en la otra. Es decir, evitar el desequilibrio en los predictores y no sólo en las variables dependientes.
Por lo tanto, la muestra de entrenamiento debe ser equilibrada previamente para que contenga ejemplos de todas las clases en igual número. De lo contrario, es más probable que las clases poco representativas no superen las pruebas fuera del conjunto de entrenamiento. Además, al dividir la muestra general en porciones de entrenamiento y de prueba, es necesario mezclar los ejemplos utilizando PRNG con una distribución de probabilidad uniforme para evitar la aglomeración de ejemplos con predictores similares en una porción y diferentes predictores en la otra. Es decir, evitar el desequilibrio en los predictores y no sólo en las variables dependientes.
paquete de caretas
Un par de funciones: downSample/upSample - disminuye/incrementa el número de observaciones, obteniendo clases totalmente equilibradas. La muestra descendente y ascendente se basa en un algoritmo de muestreo aleatorio simple.
PS.
¡Reshetov!
Empieza a estudiar R. Cada vez más a menudo te deslizas hacia las trivialidades.
¡Reshetov!
Empieza a estudiar R. Cada vez te deslizas más hacia los tópicos.
Yuri, entiendo la idea. En efecto, la muestra puede estar desequilibrada tanto en el entrenamiento como en la validación. Pero en realidad se está negociando el futuro donde el sesgo puede ser muy fuerte. Y la estrategia debe ser resistente a ese resultado.
separar los datos exactamente por fecha (antes de X día - formación, después - validación)
La cuestión es simple. En el mundo real nadie le permitirá tomar una muestra mixta que contenga observaciones del futuro y del pasado para evaluar la calidad del comercio real. Todas las observaciones irán después del día x.
Por lo tanto, al tomar una muestra mixta en la validación (sin separación de fechas), se está sobreestimando la métrica de calidad en la validación. Eso es todo. Entonces habrá sorpresas desagradables.