Necesito ayuda sobre el resultado de la optimización - página 3
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Me resulta difícil decidir una configuración óptima a partir del resultado de una optimización.
¿Podría alguien decirme cuál es la mejor elección a partir del resultado de una optimización, el menor drawdown, el factor de beneficio o cualquier otra cosa que deba tener en cuenta?
Gracias.
Sólo para compartir mis experiencias con esto, hice un análisis discriminante sobre estas 6 columnas para ver si podía adivinar qué configuraciones se comportarían mejor hacia adelante comparando con una elección aleatoria y mi conclusión es que no se puede utilizar: Está eligiendo las mejores cuando el agente está adaptado al mercado y eligiendo las peores cuando no lo está, sin poder saber si está adaptado en el momento actual.
Con el agente que utilizaba, la columna más dicriminante era el número de operaciones, y la mejor elección era una especie de equilibrio sutil con el número de operaciones, el beneficio y el drawdown, pero no podía expresar una regla clara.
Ahora estoy probando lo que sugiere zzuegg: Tomo todos los ajustes rentables de la optimización y los pruebo en el pasado para quedarme con los mejores. La idea es tener ajustes que se adapten al mismo tiempo al mercado a corto y largo plazo. Como puedes imaginar, el objetivo es hacer una optimización automática.
Sólo para compartir mis experiencias con esto, hice un análisis discriminante sobre estas 6 columnas para ver si podía adivinar qué configuraciones se comportarían mejor hacia adelante comparando con una elección aleatoria y mi conclusión es que no es utilizable: Está eligiendo las mejores cuando el agente está adaptado al mercado y eligiendo las peores cuando no lo está, sin poder saber si está adaptado en el momento actual.
Con el agente que utilizaba, la columna más dicriminante era el número de operaciones, y la mejor elección era una especie de equilibrio sutil con el número de operaciones, el beneficio y el drawdown, pero no podía expresar una regla clara.
Ahora estoy probando lo que sugiere zzuegg: Tomo todos los ajustes rentables de la optimización y los pruebo en el pasado para quedarme con los mejores. La idea es tener ajustes que se adapten al mismo tiempo al mercado a corto y largo plazo. Como puedes imaginar, el objetivo es hacer una optimización automática.
IMO, usar el optimizador como generador de esperanza puede ser un asunto complicado. Como siempre dice Phillips "es como esperar que el mercado se comporte exactamente igual que durante los periodos de optimización". El optimizador es un "cruncher" que ajusta los resultados a medida basándose (normalmente) en sl_tp o period_time. Habiendo pasado por ello yo mismo, sospecho que todos los parámetros prometedores se comportan mal fuera de los períodos optimizados o en las pruebas a futuro.
IMO, uno debe crear estrategias independientes del optimizador, probarlo en los datos de 2010 y si se muestra prometedor, pasar a 2009, 2008, 2007 ... etc. Incluso con los mejores resultados de los últimos 10 años, hay que mantener la calma y no pensar que se tiene un Santo Grial porque no existe ninguno. IMO, Cualquier estrategia que uno emplee en el mercado conlleva Riesgos, como por ejemplo riesgos incontrolables.
IMO, el mejor uso para las herramientas como las proporcionadas por Phillip, Gordon, WHRoeder, BB y todos los otros analistas/programadores dotados en este sitio, es ayudar a comparar si el Sistema-A <es mejor que> el Sistema-B. Entonces, ¿he creado algún sistema que pase la prueba de 10 años en la primera ejecución? ... diablos, no. Pero últimamente, he estado programando más sistemas que hace bien en 2010->2008 y se rompe en algún lugar en el camino. Este es el progreso en comparación con los programas de libro de texto novato que parecía como si RSI>80 && MA-1 cruza MA-2 entonces Vender. Disparar un sistema como ese a través del back-tester sería el 99% de las veces Falla. Entonces la mayoría cae en la trampa de pasarlo por el Optimizador.
Con mis sistemas recién formados, todavía estoy tentado a sólo mirar los períodos cortos donde no funcionó bien y encontrar maneras de excluir eso del sistema. Pero mi temor es que eso es sólo otra forma de Curve-fitting. No estoy hablando sólo de la codificación dura (Lunes 1-5-2003 = no comercio) que sería simplemente mal lol. Me refiero al uso de cualquier tipo de indicador u oscilador. Cuando un sistema falla así, el mejor enfoque para mí es registrar lo que funciona en la memoria y archivar el EA, y luego empezar a programar desde cero.
De todos modos, buen hilo chico. Estoy disfrutando mucho siguiendo este.
Con mis sistemas recién formados, todavía estoy tentado a mirar sólo los períodos cortos en los que no funcionó bien y encontrar maneras de excluir eso del sistema. Pero mi temor es que eso es sólo otra forma de Curve-fitting. No estoy hablando sólo de la codificación dura (Lunes 1-5-2003 = no comercio) que sería simplemente mal lol. Me refiero al uso de cualquier tipo de indicador u oscilador. Cuando un sistema falla así, el mejor enfoque para mí es registrar lo que funciona en la memoria y archivar el EA, y luego empezar a programar desde cero.
Sí, y también intenté cortar el historial en varios periodos distintos según diferentes niveles de pendiente o ATR, pero optimizar en periodos discontinuos es más o menos como optimizar en los últimos tres meses, el riesgo de ajuste de la curva sigue estando ahí como en el primer día.
Lo más difícil de entender es que incluso cuando llegas a un agente que es rentable en los últimos 10 años cuando se optimiza en los últimos meses con valores de gran rango, todavía no estás seguro de cuánto estás sobre-optimizando en los datos históricos, porque para llegar allí estabas tirando cientos de buenas ideas, que es exactamente lo que hace el algo genético del optimizador.
No, de verdad, tenemos un trabajo duro.
La forma de utilizar los cálculos de riesgo de pérdida es definiendo un período de tiempo (mensual, semanal, anual, etc), o un incremento de algún tipo (por operación, por 10 operaciones, etc), y luego se reúnen las estadísticas para esos períodos. Es importante en términos de lo que la salida resultante de la calc de riesgo de ruina realmente significa (sus unidades).
A veces es útil centrarse primero en asegurarse de que se está haciendo la pregunta correcta (en otras palabras, asegurarse de que la respuesta que se está tratando de calcular va a responder realmente a la pregunta que se necesita/quiere responder).
Por ejemplo, mis clientes trabajan con un calendario mensual. No se preocupan por las cosas diarias o semanales, para ellos todo gira en torno a los resultados mensuales. Por lo tanto, en mi caso no sirve de nada que calcule el riesgo de ruina para los resultados semanales o por operación.
Por lo tanto, lo que debo hacer en el backtest es capturar la tasa media de rendimiento (ganancias, pérdidas, ROR, etc) sobre una base mensual. Algo así como lo siguiente:
Para calcular las métricas de riesgo de ruina primero debes reunir los datos para tu marco temporal. En mi caso, en este ejemplo, necesitaba reunir los resultados de la tasa de rendimiento mensual, calcular la ROR mensual media y, a continuación, calcular la desviación estándar de esas tasas de rendimiento mensuales.
En este ejemplo, la ROR media mensual fue del 12% con una desviación estándar del 8%... a partir de los resultados del backtesting esto debería haber sido oro en el futuro, sólo que no lo fue (como se puede ver). Tenga en cuenta que me refiero al riesgo de ruina como riesgo de pérdida (ROL), ya que no estoy interesado en saber cuándo se arruinará mi cuenta (esa es la cuestión trivial), sino que estoy más interesado en saber con qué frecuencia debo esperar que la cuenta se sumerja en una cantidad fija, digamos un 20%.
Así que una ROR del 12% mensual con una desviación estándar del 8% significa que puedo esperar que mi cuenta experimente una pérdida del 7,4% del valor de la cuenta alrededor del 6,5% de las veces (el 6,5% de los eventos de final de mes, o aproximadamente una vez cada 15 meses).
Así que, aunque al principio me pilló desprevenido el aparentemente inexplicable resultado de la prueba a plazo, era perfectamente razonable esperar ese resultado mensual basándome en los resultados de las pruebas retrospectivas, una vez cada 15 meses puedo esperar una reducción tan negativa en el valor máximo de mi cuenta.
Así que ya ves, para que puedas calcular una evaluación significativa del riesgo de pérdida, primero debes decidir qué período de tiempo es pertinente para ti y luego debes reunir los resultados en una forma que sea susceptible de calcular la media y la desviación estándar del RoR en ese período de tiempo.
Una vez que disponga de los datos del backtest, podrá realizar un sinfín de análisis estadísticos utilizando cálculos de riesgo de ruina (o riesgo de pérdida, como me gusta llamarlo).
estos son mis resultados para 30 grupos de 50 operaciones ( del 18/03/2001 - 21/12/2010 )
con un depósito inicial de 700 dólares
para el fllowing he calculado el:
ROR media de => 2.9%
stdev de => 6.5%
(que es bastante malo .... ¿verdad? )
ahora para cada grupo de 50 operaciones.. el porcentaje máximo de pérdida que puedo esperar es: $0.1 X 50 X (20pips+3pip spread ) = $115
115/700 = 16.5%
No puedo perder más que eso por cada sesión de 50 operaciones
¿Hay alguna forma de tener esto en cuenta al calcular el riesgo de pérdida?
para el fllowing he calculado el:
ROR medio de => 2,9%
stdev de => 6.5%
(que es bastante malo .... ¿verdad? )
Sí, usted quiere que su relación μ/σ sea >1, preferiblemente 2 como mínimo.
Y Sharpe no es suficiente, el valor σ en sí mismo importa para determinar el ROL en cualquier valor de Sharpe dado (este es un hecho no muy conocido, pero es la razón fundamental por la que el apalancamiento es problemático y es la razón por la que la CFTC está reduciendo el apalancamiento máximo en los Estados Unidos).
Por eso existe el mantra de que "Beta mata". La mejor μ del mundo no va a salvar su cuenta del riesgo eventual de ruina de la σ es grande. El apalancamiento hace que la σ sea grande, el tamaño excesivo de las posiciones hace que la σ sea grande mientras la gente busca grandes μ.
Pero si la única manera de conseguir una μ grande es haciendo que σ sea grande, entonces estás predestinado a la ruina. Una certeza matemática que muchos no están preparados para comprender o investigar, por lo que la CFTC va a hacerlo por ellos forzando un límite a lo grande que puede llegar a ser σ quitando la capacidad de los novatos de marcar grandes tamaños de posición.
Hay mucha indignación dirigida a la CFTC sobre sus controles de apalancamiento en forex, pero la CFTC está realmente tratando de salvar a la gente de sus propios peores enemigos.
ahora para cada grupo de 50 operaciones.. el porcentaje máximo de pérdida que puedo esperar es: $0.1 X 50 X (20pips+3pip spread ) = $115
115/700 = 16.5%
No puedo perder más que eso por cada sesión de 50 operaciones
¿Hay alguna forma de tener esto en cuenta a la hora de calcular el riesgo de pérdida?
El riesgo de pérdida en sí es una distribución de probabilidad, el valor máximo que puede perder (115 dólares) es sólo un punto de esa distribución. Lo que probablemente le interese es saber con qué frecuencia es probable que se produzca esta situación. ¿Experimentará una pérdida de 115 dólares una vez cada 5 años o una vez cada 5 meses?
Estas son las preguntas para las que se utiliza el RoL: "¿Con qué frecuencia debo esperar perder XYZ?" Usted se pregunta qué probabilidad tiene de perder 115 dólares, el máximo RoL permitido según sus pasos, y la respuesta es el 9%.
Oh ...
Hay una cosa que todavía no entiendo.... ¿no hay otros factores que influyen en este cálculo?
Tomemos sus resultados de ROR calculados sobre una base mensual
Supongamos (por el bien del argumento) que cuantas más operaciones haya en un mes, mayor será la ROR que obtenga
por ejemplo: para 0 operaciones usted gana 0%
con 10 operaciones gana un 5% (de media)
por 20 operaciones se gana un 10% (de media)
y así sucesivamente...
Supongamos que en ese periodo de 30 meses hubo una gran dispersión de valores en la distribución de la ROR ( para cada mes hubo un número completamente diferente de operaciones realizadas )
de modo que la rentabilidad media es del 10% y la desviación estándar es del 20% y no hubo ROR negativas ( no se puede tener un número negativo de operaciones... )
ahora el cálculo del riesgo de pérdida de una desviación estándar que es del 20% nos dará aproximadamente el 37% ... que realmente no tiene ningún sentido ..
¿Ves a dónde quiero llegar?
No pretendo ser tonto, pero no te entiendo. No comprendo el argumento que planteas aquí. Lanza una moneda 10 veces al mes, o 20 veces al mes, la probabilidad de obtener cara es siempre 50/50 en cada intento, independientemente de la historia de los lanzamientos de monedas hasta la fecha. El hecho de que la realidad de los lanzamientos de monedas difiera a veces de las estadísticas no hace que éstas sean inválidas, sino que tienen una utilidad limitada.
El propósito de calcular el RoL es que es algo matemáticamente válido, pero no está garantizado. Es simplemente una guía, una forma de evaluar los resultados, que es mejor para captar y presentar el riesgo indicativo (sistemático) en su estrategia comercial. Pero el azar es sólo eso, azar. Hay una posibilidad de que nunca experimente una pérdida, y hay una posibilidad de que experimente una pérdida total.
RoL le ayuda a calcular esta posibilidad de una manera que se presta a la clasificación y selección de estrategias comerciales y parámetros optimizados. No es el santo grial, ya que no puede predecir el futuro, pero si el futuro es estadísticamente comparable al pasado, entonces tiene derecho a intentar asignar las estadísticas del pasado a las del futuro (esto es lo que hacen los modelizadores meteorológicos al preparar sus previsiones con conjuntos de modelos) en un esfuerzo por no predecir el mercado futuro, sino simplemente predecir el carácter estadístico del mercado futuro.
Es lo mejor que se puede esperar, en realidad.
Muchas gracias por su tiempo. Realmente aprecio esto
por lo que por los siguientes resultados de la prueba sólo he sido extremadamente afortunado ??
la cantidad máxima de operaciones perdedoras consecutivas para todo este período (de aproximadamente 23 grupos de 50 operaciones - no podía exprimir todo en una prueba) fue 41 (que puede dividir entre 2 grupos de 50 operaciones)
¿Debería haber visto ese tipo de reducción con más frecuencia?
eventualmente si continúo "jugando" a este juego conseguiré el 9% de las veces ese tipo de pérdidas ?
Ahora una cosa más
según este informe
la probabilidad media de tener una operación rentable es del 8,85% y una operación perdedora es del 91,15%.
por lo que según esto la posibilidad de tener 50 pérdidas consecutivas es : 0.9115^50 = 0.97% ...
que está bastante lejos del 9% ... ¿cómo puede ser esto?
Si perdiera el 95,3% de las veces sería correcto, y con ese porcentaje mi expectativa sería negativa O_O
Ex= 0.953*(-23)+0.047*(247) = -10.31 pips de beneficio por operación
Una cosa que veo aquí es que estás atribuyendo a las distribuciones la forma funcional de una distribución gaussiana mientras que mi entendimiento es que los cálculos del riesgo de ruina se derivaron en base a expectativas de procesos poisson/estocásticos.
Si quieres entender la derivación de las ecuaciones te recomiendo que sigas leyendo el siguiente libro: The Theory of Stochastic Processes by Cox and Miller
Son los autores citados de las ecuaciones de riesgo de ruina.
En el curso de mi propio trabajo para implementar la evaluación del riesgo de pérdida en mis caracterizaciones de backtest/forward test he tomado las ecuaciones de Cox y Miller así como de Chamness, he hecho alguna sustitución simple de variables y (OMI) un paso de integración útil y la ecuación resultante me ayuda a clasificar los parámetros de la estrategia comercial sobre la base de un riesgo de pérdida sobre una base ROR normalizada. (similar a 1 sobre el RAROC)
Una cosa que veo aquí es que estás atribuyendo a las distribuciones la forma funcional de una distribución gaussiana, mientras que mi entendimiento es que los cálculos del riesgo de ruina se derivaron basándose en las expectativas del proceso poisson/estocástico.
Si quieres entender la derivación de las ecuaciones te recomiendo que sigas leyendo el siguiente libro: The Theory of Stochastic Processes by Cox and Miller
Son los autores citados de las ecuaciones de riesgo de ruina.
En el curso de mi propio trabajo para implementar la evaluación del riesgo de pérdida en mis caracterizaciones de backtest/forward test he tomado las ecuaciones de Cox y Miller así como de Chamness, he hecho alguna sustitución simple de variables y (OMI) un paso de integración útil y la ecuación resultante me ayuda a clasificar los parámetros de la estrategia comercial sobre la base de un riesgo de pérdida sobre una base ROR normalizada. (similar a 1 sobre el RAROC)
¿es incorrecto tratarlo como lo hago yo (como una distribución guasiana)?
parece un libro pesado
pero lo compré de todos modos... trataré de profundizar y entender
Gracias.
No es incorrecto, sólo que no te va a dar los resultados que crees que estás calculando.
Por ejemplo, no es incorrecto decir "1+1 = 2"... ya que la matemática es obviamente correcta.
Pero sería un error decir "1+1=2, esto significa que puedo esperar duplicar mi cuenta en 6 meses porque el número de mis matemáticas es un 2".
En cualquier caso, querrás dirigir tu atención hacia las derivaciones que conducen a la ecuación 91 en la página 61.