Un gran libro sobre pruebas y optimización - página 8

 
Mathemat писал (а) >>

tenemos que tener una charla sobre Bernouli...

 

papaklass, aquí está el enlace, gracias a Yury Reshetov: http://bigfx.ru/load/8-1-0-4 . No parece estar roto, acabo de comprobarlo.

 

http://nfkgtu.kai.ru/download/plugin.rar - descárguelo y póngalo.

 
Reshetov писал(а) >>

El enlace está roto.


Puedo compartir la que no está rota: http://bigfx.ru/load/8-1-0-4

Gracias por el enlace... todavía no hay correo electrónico del foro sobre el registro...

 

Me parece que el análisis de avance (prueba fuera de muestra) sólo muestra que has conseguido ajustar el sistema para que muestre resultados positivos en la prueba fuera de muestra durante el proceso de optimización. Basándonos en esta afirmación podemos sacar la única conclusión correcta - la probabilidad de que el sistema produzca un beneficio en el futuro es del 50% - o se obtendrá un beneficio o no se obtendrá. :)

Si quiere comprobarlo, debe hacer la prueba fuera de muestra, y si está satisfecho con los resultados y cree que ha encontrado un sistema que funciona, entonces haga otra prueba "fuera de muestra" en un periodo duplicado. Si está satisfecho con esta prueba, haga una última prueba. Si está satisfecho con esta prueba, puede decir que ha encontrado un sistema que funciona. Pero, ¿funcionará más allá?, para comprobarlo necesitas qué? .... correcto - una prueba más :)))))).

¿No es así?

 

Otra cosa que se me ocurre es sobre los sistemas de adaptación:

Supongamos que tengo un sistema y lo he ajustado a una curva para que dé buenos resultados tanto en el periodo de prueba como en la prueba fuera de muestra. Lo he ajustado de forma muy sencilla, en el optimizador, estableciendo muchos parámetros, con un paso muy pequeño para conseguir el mejor ajuste. De todos los ajustes posibles, en el mismo optimizador, utilizando la prueba de avance he obtenido el mejor. Me alegro, porque ahora tengo un sistema, aunque es un buen ajuste y es poco probable que funcione.

Mi vecino, Vasya, es un gran matemático y su enfoque es diferente. Toma exactamente el mismo sistema, hace pruebas, hace un montón de cálculos, un montón de pruebas, todas científicas, y finalmente obtiene el mismo sistema que yo, sólo que usando métodos diferentes.

Así que ahora surge la pregunta: ¿quién tiene el sistema y quién no?

Y la otra pregunta: ¿cómo reaccionará la comunidad cuando se entere de cómo he conseguido mi sistema? ... Así es, es puro ajuste y no funcionará. ¿Y cómo reaccionará la comunidad ante el sistema de Vasya y cómo lo consiguió? Correcto - bien hecho Vasya, eres muy inteligente y ahora tienes un sistema que funciona, porque no se ajustó a la curva, pero pasó todas las pruebas y se ajustó a todos los marcos y parámetros.

Y la última pregunta: ¿quién tiene un sistema que realmente funcione? ¿Yo o Vasya?

 
autoforex писал(а) >>

Me parece que el análisis previo (prueba fuera de muestra) sólo muestra que has conseguido ajustar el sistema para que muestre resultados positivos en la prueba fuera de muestra durante el proceso de optimización. Basándonos en esta afirmación podemos sacar la única conclusión correcta - la probabilidad de que el sistema obtenga beneficios en el futuro es del 50% - o bien obtendrá beneficios o no los obtendrá. :)

Si quiere comprobarlo, debe hacer la prueba fuera de muestra, y si está satisfecho con los resultados y cree que ha encontrado un sistema que funciona, entonces haga otra prueba "fuera de muestra" en un periodo duplicado. Si está satisfecho con esta prueba, haga una última prueba. Si está satisfecho con esta prueba, puede decir que ha encontrado un sistema que funciona. Pero, ¿funcionará más allá?, para comprobarlo necesitas qué? .... correcto - una prueba más :)))))).

¿No es así?

Estoy de acuerdo. Me he encontrado con que también hay un ajuste "fuera de la muestra". Y este ajuste es más difícil de entender y evitar......))))

 

Hmm, por alguna razón esperaba una crítica de diferente polaridad :). Creí que mis conclusiones saltarían por los aires.

LeoV tiene razón en que este tipo de ajuste es más difícil de entender. Mucha gente ni siquiera intenta entenderlo.

 
autoforex >> :

Hmm, por alguna razón esperaba una crítica de diferente polaridad :). Creí que mis conclusiones saltarían por los aires.

LeoV tiene razón en que este tipo de ajuste es más difícil de entender. Mucha gente ni siquiera intenta entenderlo.

Los que van a intentar echar por tierra estas conclusiones, todavía no entienden nada. Algunos lo consiguen rápidamente, otros durante 10 años todavía no lo entienden. Es decir, son todos los mismos plumíferos que se dedican a la masturbación bajo el nombre - optimización, y entrenan redes neuronales para no se sabe qué. Buscan donde hay más luz, y no donde es necesario.

 
LeoV >> :

Estoy de acuerdo. Me he encontrado con que también hay un ajuste "fuera de la muestra". Y este ajuste es más difícil de entender y evitar......))))

¿Y por qué tan incierto? Fuera de la muestra, hacia adelante y otras porquerías es un caso clínico.En la martingala no hay manera de evitar el ajuste.