Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 3170
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
¿Puedes ver el OOS pasando a la izquierda?
Duplica el experimento completamente, pero con datos sintéticos.
======================================
El OOS de la izquierda también es un ajuste, pero de una especie de segundo orden
Imagina que sólo tienes 1000 variantes de TC, en general.
sus pasos 1 y 2
1) Empiezas a optimizar/buscar una buena TS, estos son los datos de entrenamiento (ajuste/búsqueda/optimización).
Digamos que has encontrado 300 variantes en las que la ST gana dinero...
2) Ahora usted está buscando un TC de estas 300 variantes que pasará OOS es datos de prueba. Has encontrado digamos 10 CTs que ganan tanto en el traine como en el test ( OOS ).
¿Cuál es el punto 2?
Es la misma continuación de la adaptación, sólo que su búsqueda(adaptación/búsqueda/optimización) se ha vuelto un poco más profunda o más compleja, porque ahora no tiene una condición de optimización (pasar la prueba), sino dos (pasar la prueba + pasar la prueba).
Esta es la imagen que ven casi todos los usuarios del probador. Estoy interesado en la explicación.
En esta imagen, la significación estadística es bastante alta: más de 3000 posiciones no solapadas.
Supongo que se trata del efecto de los cambios del mercado dentro de la propia Muestra. Por ejemplo, la Muestra tenía un patrón real al principio y luego nada. Pero el ajuste se produjo para toda la Muestra.
Deberíamos evitar de alguna manera tales rupturas dentro de la Muestra.
También puede ocurrir el efecto contrario: a la izquierda OOS - abajo, a la derecha - arriba. Es decir, no se encontró ningún patrón en la pieza inicial de la Muestra, pero sólo ajuste.
OOS siempre debe estar a la DERECHA.
Si el OOS es a la IZQUIERDA, no hay manera de garantizar que el TC NO está sobreentrenado y NO está mirando hacia adelante . Estas son las primeras cuestiones importantes a tratar cuando se prueba un TC ANTES de cualquier otra cosa.
¿Cuál tienes? No hay diferencia. No importa si es uno de ellos o los dos. Tienes que probar correctamente y basta - OOS a la derecha.
Y es mejor olvidarse del probador y archivos de formulario para la prueba de la siguiente manera:
Tenemos dos archivos.
El primer archivo se divide al azar por muestra en tres partes: formación, pruebas y validación. Estudie en una muestra (aleatoria) de entrenamiento, luego compruebe en una muestra aleatoria de prueba y validación: todas son partes DIFERENTES del primer archivo. Compare el resultado. Si son aproximadamente iguales, compruébelos en el segundo archivo de "secuencia natural". Si aquí también son aproximadamente iguales, obtenemos la conclusión principal: nuestro CT NO está sobreentrenado y NO mira hacia delante. Sólo teniendo esta conclusión tiene sentido hablar de cualquier otra cosa: precisión, rentabilidad y otras cosas, todas ellas SECUNDARIAS.
Observo que en realidad no hay otras formas de comprobar si se mira hacia delante y se reentrena.
Este es el tipo de cosas que pasan. A la izquierda OOS pasa, a la derecha - no. Y en el lado derecho, literalmente, "inmersión" inmediatamente.
Sucede casi siempre.
Es decir, literalmente inmediatamente inmersión significativa. La naturaleza de la inmersión no está clara. Creo que debería ser algo cercano a SB, pero veo una imagen tan a menudo.
Da la sensación de que si se ejecuta un TC invertido después de la optimización, es posible que ni siquiera drene.
P-hacking (o data-dredging) es una práctica estadística en la que un investigador analiza los datos hasta que encuentra un resultado estadísticamente significativo. Puede cambiar los parámetros del análisis, seleccionar sólo determinados datos o realizar múltiples comparaciones para encontrar relaciones o diferencias significativas en los datos. Esto puede dar lugar a falsos positivos y distorsionar las conclusiones científicas. El P-hacking es una forma de deshonestidad científica y puede llevar a recomendaciones y decisiones incorrectas basadas en premisas falsas.
¿Puedes ver el OOS pasando a la izquierda?
Si se reduce el periodo de entrenamiento, ¿ocurrirá la inversión de tendencia del gráfico con la misma rapidez?
No sé mucho acerca de las estrategias de tick, pero uno de los factores para este comportamiento es la falta de datos comparables durante el entrenamiento, por ejemplo - el entrenamiento fue en su mayoría tendencia a la baja en algunos TF.
No sé qué método de formación que está utilizando, si se trata de sistemas de árbol o filtros simplemente sujetar el rango de un indicador condicional (función), vale la pena estimar el número de ejemplos que caen en cada uno de esos rangos.
Una posible situación es la deriva de los datos y un cambio en la distribución de resultados de probabilidad para el filtro/lista.
Por ejemplo, cuando selecciono segmentos cuánticos en una muestra para el entrenamiento, y luego estimo su distribución (porcentaje de respuestas correctas e incorrectas al objetivo 0||1) en otras dos muestras, entonces el cumplimiento del criterio de estabilidad en 3 muestras se encuentra en el rango del 25%-30% - está claro que en este caso el modelo tiene más posibilidades de elegir un predictor inestable, que dejará de funcionar en uno de los sitios.
Al final, todo se reduce a analizar regularidades simples, es decir, a buscar razones para considerarlas como tales, en lugar de observar al azar la cola de un cometa en un telescopio.
¿Puedes ver el OOS pasando a la izquierda?
¿Cuánto tiempo permanece rentable el sistema?
Me he encontrado con un comportamiento similar del sistema, cuando en el OOS a la derecha hay una ciruela aguda, no creo que esté conectado directamente con una fuerte inversión de 180 grados de los patrones de mercado encontrados (que indicaría las razones de la naturaleza mística, la aplicación de prácticas de vudú y, en general, cualquier cosa en lugar de cualquier problema real, como el reentrenamiento o ajuste, porque es por lo menos extraño, cuando una ciruela aguda siempre sucede después del final de la formación). Por lo general, se debe a algunos errores en el código que causan falsos positivos (o falsos negativos) como Max dijo anteriormente, la corrección de los cuales conduce a un comportamiento aleatorio a la derecha OOS en el peor de los casos (sobreentrenamiento) o gradual desvanecimiento de la rentabilidad en el mejor de los casos (desvanecimiento de los patrones encontrados y / o su cambio gradual).
¿cuánto tiempo se mantiene rentable el sistema?
Me he encontrado con un comportamiento similar del sistema, cuando en OOS en el lado derecho hay una fuerte caída, no creo que esté conectado directamente con una fuerte inversión de 180 grados de los patrones de mercado encontrados (que indicaría razones de naturaleza mística, la aplicación de prácticas de vudú y, en general, cualquier cosa en lugar de cualquier problema real, como el reentrenamiento o ajuste, porque es por lo menos extraño, cuando una fuerte caída siempre ocurre después del final de la formación). Por lo general, se debe a algunos errores en el código que causan falsos positivos (o falsos negativos) como Max dijo anteriormente, la corrección de los cuales conduce a un comportamiento aleatorio en el derecho OOS en el peor de los casos (sobreentrenamiento) o gradual desvanecimiento de la rentabilidad en el mejor de los casos (desvanecimiento de los patrones encontrados y / o su cambio gradual).
Y si el TS tiene muchos parámetros o está muy bien ajustado, las caídas son siempre bruscas. Porque se trabaja "en fino". Un gran número de parámetros conduce a errores cada vez mayores, se suman. Si incluso sólo tosco el TS y hacer menos parámetros, no es tan hermoso en el probador, pero se derrumba más suavemente.
Podemos dar una analogía con un póquer en martingala. Hay un gran número de posiciones fallidas. Sustitúyalo por un gran número de parámetros fallidos u otra cosa. El resultado es el mismo.He añadido la visualización de gráficos en las submuestras de pruebas y exámenes, y he recortado tren - eliminado el trozo inicial para que las imágenes fueran compatibles.
De hecho, se trata de secciones secuenciales en el tiempo de tren->prueba->examen.
Tras observar el gif, queda claro que las muestras de prueba y examen más bien redujeron la amplitud de la oscilación que consiguieron una tendencia en cualquier dirección.
Sin embargo, si se mira de cerca, se puede ver que en algunas iteraciones hay una mejora en estas muestras, es decir, podemos suponer que estas son las reglas (en forma de segmentos cuánticos) que muestran estabilidad en diferentes muestras. También se puede observar que las diferentes secciones cambian de forma diferente de iteración a iteración, es decir, la mejora en la prueba no tiene una correlación directa con la mejora en el examen.
Como escribí anteriormente - esto se explica por el cambio en el sesgo de la probabilidad de pertenecer a una clase de un segmento cuántico individual.
Los propios segmentos cuánticos, como señal para omitir la señal objetivo, es decir, para llevarla a cero, o en otras palabras, para dividir la muestra en dos partes, se seleccionan en función de su estimación de costes. Es decir, se estima el coste de reducir las señales erróneas. En cada iteración se realiza el recálculo y se elimina la variante con el precio más bajo.
A continuación se muestra cómo cambia el precio según uno de los métodos de cálculo. A continuación se muestra un gif en el que cada punto es un segmento cuántico (el eje x es un número de secuencia).
¿Cambiará significativamente el resultado en las muestras de prueba/examen si el precio se elige al azar en la primera iteración?
Entre las iteraciones 4 y 5, podemos ver cómo la submuestra de prueba pierde drásticamente el número de respuestas correctas del objetivo, lo que conduce inmediatamente a una divergencia (delta aumenta) con la muestra de examen.
¿Cambiará significativamente el resultado en las muestras de prueba/examen si el precio se selecciona aleatoriamente en la primera iteración?
Yo mismo me respondo: sí, cambiará.
Seleccioné aleatoriamente el primer segmento cuántico para excluir la señal (cadena) 1000 veces.
Aquí hay un par de gifs de ejemplo, cómo fue el proceso con diferentes iteraciones aleatorias primer quantum (puede ser hojas).
Y aquí están las imágenes estáticas en el momento de la iteración intermedia - diferentes etapas de selección y aleatorización.
¿Qué conclusión se puede sacar?
1. Puede que tengas suerte y encuentres al azar un patrón que funcione :)
2. Sin reducir el número de patrones falsos, es difícil construir un modelo utilizando únicamente el principio de la avaricia.
3. Necesitas desarrollar métodos para estimar la regularidad observada en un segmento o lámina cuántica.
4. La aleatoriedad no prueba que se tenga éxito en el aprendizaje automático.
5. Se requiere un modelo lógicamente válido para tener éxito.
6. El éxito en una muestra de prueba no siempre significa éxito en una muestra de examen, y viceversa.
¿Qué otras conclusiones pueden extraerse?
...
¿Qué conclusión se puede sacar?
1. Puede que tengas suerte y encuentres al azar un modelo que funcione :)
2. Sin reducir el número de patrones falsos, es difícil construir un modelo utilizando únicamente el principio de la avaricia.
3. Necesitas desarrollar métodos para estimar la regularidad observada en un segmento o lámina cuántica.
4. La aleatoriedad no prueba que se tenga éxito en el aprendizaje automático.
5. 5. Se requiere un modelo lógicamente válido para tener éxito.
6. El éxito en la muestra de la prueba no siempre significa éxito en la muestra del examen, y viceversa.
¿Qué otras conclusiones pueden extraerse?
Perdí de vista tu método de cuantificación en el transcurso del hilo, lo siento, por favor recuérdamelo.
la cuantificación de series temporales es muy importante, por ejemplo, cuantificando un precio por el método renko obtendremos SB (al menos estadísticamente relevante), por lo que la expresión "lo cuantifiques, no lo cuantifiques, seguirás obteniendo xxx" parece cuanto menos subestimada, porque si hay cuantificación que destruye información, probablemente haya cuantificación que extraiga información. Siempre que haya información en el flujo de garrapatas, claro (esperamos fervientemente que la haya, porque de lo contrario la aplicación de MO no tendría sentido).