Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 1301

 
Aleksey Vyazmikin:

¿La evaluación del modelo no afecta a su rendimiento cuando se aplica a una muestra desconocida?

¿Qué estás haciendo, construyendo un montón de modelos diferentes y comprobando cuál funciona mejor?

¿Qué tiene que ver esto con las "hojas" y la selección de las mejores hojas, etc.?

Sólo estoy tratando de entender lo que estás escribiendo.

o cada línea corresponde a una hoja
 
Maxim Dmitrievsky:

¿Qué estás haciendo? ¿Construir un montón de modelos diferentes y comprobar cuál funciona mejor?

¿qué tiene que ver esto con las "hojas", la selección de las mejores hojas, etc.?

Sólo trato de entender lo que escribes de vez en cuando.

Parece que la conversación era sobre la selección automática de un modelo, expliqué que los modelos interesantes se pueden seleccionar de dos maneras, a través de un criterio y una fórmula conocidos (como lo hago ahora - se rellenan 3 últimas columnas para cada muestra y para cada muestra se forma una tabla, si 3 columnas de filtro coinciden, entonces se selecciona el modelo), o se puede utilizar el aprendizaje automático, cuando se entiende lo que se quiere del modelo en un muestreo independiente, pero no se sabe cómo lograrlo. Así, para la segunda vía, las diferentes métricas del modelo se convierten en predictores y el modelo se entrena con ellas, lo que ya selecciona modelos adecuados a partir de datos similares mediante MO. Ese año tuve una experiencia similar con la formación y dio resultados positivos, en cuanto a la precisión fue buena pero no tanto en cuanto a la exhaustividad, entonces decidí que nos faltaba diversidad en la muestra y pospuse el trabajo hasta tiempos mejores. Ahora se están generando muchas muestras diferentes y es posible retomar este trabajo. La idea principal no es seleccionar al mejor del conjunto disponible, sino seleccionar al mejor por criterios absolutos, ya sea MO o índice fijo.

Las hojas funcionan con modelos seleccionados.

Cada línea es un modelo distinto.
 
Aleksey Vyazmikin:

Parece que la conversación era sobre la selección automática de modelos, expliqué que los modelos interesantes se pueden seleccionar de dos maneras, a través de un criterio y una fórmula conocidos (como lo hago ahora - se rellenan 3 últimas columnas para cada muestra y para cada muestra se forma tal tabla, si las 3 columnas del filtro coinciden entonces se selecciona el modelo), o por aprendizaje automático, cuando se entiende lo que se quiere del modelo en el trabajo sobre la muestra independiente, pero no se sabe cómo lograrlo. Así, para la segunda forma, los diferentes indicadores métricos del modelo se convierten en predictores y el modelo se entrena con ellos, lo que a través de MO selecciona modelos adecuados a partir de datos similares. Ese año tuve una experiencia similar con la formación y dio resultados positivos, en cuanto a la precisión fue buena pero no tanto en cuanto a la exhaustividad, entonces decidí que nos faltaba diversidad en la muestra y pospuse el trabajo hasta tiempos mejores. En la actualidad se están generando muchas muestras diferentes y es posible revisar este trabajo. La idea principal no es seleccionar al mejor del conjunto disponible, sino seleccionar al mejor por criterios absolutos, ya sea MO o índice fijo.

Las hojas ya están trabajando con los modelos seleccionados.

Así que se toman n modelos (como en el archivo), se introducen sus métricas como predictores para el NS, y luego ¿qué sale?

¿algunas estimaciones de la experiencia? como si con tales indicadores el modelo funcionara, pero no con estos

¿Y luego filtras los nuevos modelos a través de estas cosas? Bueno, como el NS selecciona los modelos de MI por sí mismo?

 
Maxim Dmitrievsky:

Es decir, entonces se toman n modelos (como en el archivo), se introducen sus métricas como predictores para el NS, y luego ¿qué sale?

¿algunas estimaciones de la experiencia? como si con tales indicadores el modelo funcionara, pero no con tales?

¿Y luego filtras los nuevos modelos a través de estas cosas? Bueno, como el NS selecciona los modelos de MI por sí mismo?

Cuando experimenté, tomé métricas similares para la muestra de prueba y puse el resultado de la muestra de prueba (independiente del entrenamiento) en la muestra objetivo. Las métricas objetivo eran el beneficio y el drawdown (por separado para las operaciones de compra y venta) y algo más de las métricas del propio modelo, no lo recuerdo exactamente. Ahora tengo que añadir las métricas de una muestra de entrenamiento a los datos de la muestra de prueba (en ese momento no sabía que los resultados pueden ser significativamente diferentes para Catbust) y todavía tengo que experimentar con el objetivo.

El modelo resultante se alimentó con los resultados de otras muestras con modelos, el principal resultado entonces fue un buen filtrado de los modelos no rentables.
 
Aleksey Vyazmikin:

Cuando experimenté, tomé métricas similares para la muestra de prueba, y puse el resultado de la muestra de prueba (independiente del entrenamiento) en la muestra objetivo. El objetivo era el beneficio, el drawdown (por separado para las operaciones de compra y venta) y algo más del propio modelo, no lo recuerdo exactamente. Ahora a los datos de la muestra de prueba tengo que añadir las métricas de la muestra de entrenamiento (en ese momento no sabía que los resultados pueden ser significativamente diferentes para Catbust) y tengo que experimentar más con el objetivo.

Es una solución ornamental muy extraña, nunca he visto algo así y no puedo decir nada al respecto.

pero si funciona bien
 
Maxim Dmitrievsky:

una solución ornamental muy extraña, nunca he visto nada parecido y me resulta difícil decir algo al respecto

pero si funciona, bien

La idea es que por la estructura del modelo, su comportamiento en la muestra de prueba y de entrenamiento, se pueden establecer ciertas expectativas de comportamiento en el trabajo real.

Es una dirección muy interesante, pero requiere tiempo y recursos. Por otro lado, se pueden desarrollar e intercambiar abiertamente predictores de forma colectiva.

Si no se puede decir nada sobre su rendimiento futuro a partir de un modelo, todo es una pérdida de tiempo, una cuestión de azar...

 
Aleksey Vyazmikin:

La idea es que por la estructura del modelo, su comportamiento en la muestra de prueba y de entrenamiento, se pueden establecer ciertas expectativas de comportamiento en el trabajo real.

Es una dirección muy interesante, pero requiere tiempo y recursos. Por otro lado, se pueden desarrollar e intercambiar predictores de forma colectiva y abierta.

Si no se puede decir nada sobre el rendimiento futuro del modelo, todo el modus operandi es una pérdida de tiempo, una cuestión de azar...

Con el tiempo, la variación de los resultados aumenta, lo que debe tenerse en cuenta. Si el modelo se rompe inmediatamente en los nuevos oficios, sólo entonces es el ajuste, de lo contrario se puede tratar de apretar. La forma más fácil de mejorar es la regularización (paso de gradiente en katbust) o simplemente no ajustar.

Mira cómo la gente comercia - todo tipo de cosas de martingala. El MdD ya da algún tipo de ventaja.

No escribo sobre modelos de estimación complejos de tipo bayesiano porque no he entendido del todo cómo trabajar con ellos, todavía hay mucho que aprender y trabajar
 
Maxim Dmitrievsky:

Con el tiempo, la variación de los resultados aumenta, lo que debe tenerse en cuenta. Si el patrón se rompe inmediatamente en las nuevas operaciones, entonces hay que afinar, de lo contrario se puede tratar de presionar

Si no es así, observa cómo la gente comercia: todo eso de la martingala. MO ya da alguna ventaja

Ayer mostré que Catbust forma ruido en las hojas (árboles binarios) que se puede eliminar y el modelo mejorará. Experimenté un poco más en esta dirección, aumentando el filtrado, y descubrí que después de un cierto umbral ocurre una cosa paradójica: las mejoras se detienen en la muestra independiente, pero continúan en la muestra de prueba y de entrenamiento. Es decir, en realidad resulta que el modelo sigue funcionando (en la muestra independiente del entrenamiento) rodando sobre las conexiones con pesos bajos, en realidad ajustes, y aquí tenemos la cuestión de que o bien los pesos están distribuidos incorrectamente, o bien el modelo está sobreentrenado y funciona aleatoriamente sobre el ruido blanco (bueno no exactamente el ruido, sobre los indicadores menos significativos de los árboles binarios). Creo que también es posible ver de dónde vienen estas relaciones y averiguar su significado en una muestra de examen corta.

 
Aleksey Vyazmikin:

Ayer mostré que Catbust genera ruido en las hojas (árboles binarios), que se puede eliminar y el modelo mejorará. Experimenté un poco más en esta dirección, aumentando el filtrado, y descubrí que después de un cierto umbral ocurre una cosa paradójica: las mejoras se detienen en la muestra independiente, pero continúan en la muestra de prueba y de entrenamiento. Es decir, en realidad resulta que el modelo sigue funcionando como siempre en las relaciones de bajo peso, en realidad en los ajustes, y existe la cuestión de que, o bien los pesos se distribuyen incorrectamente, o bien el modelo se reentrena y funciona accidentalmente en el ruido blanco (bueno, no exactamente en el ruido, en los indicadores menos significativos de los árboles binarios). Creo que también se podría estudiar el origen de estas relaciones e identificar su importancia en una muestra de examen breve.

Sea cual sea la forma en que escarbe, encontrará algunas "regularidades" ilusorias en todas partes, puede encontrarlas en cualquier fenómeno

lo que más me alegra es el gran número de "predictores". ¿De dónde saldría en las citas? Hay un 90% de basura allí.

 
Maxim Dmitrievsky:

No tengo ni idea, no me meto en árboles y hojas, ni tengo intención de hacerlo... todo se puede hacer a nivel del propio modelo.

Sea cual sea el camino que elijas, encontrarás "patrones" ilusorios en todas partes, puedes encontrarlos en cualquier fenómeno

así que sólo trabaja en formas conocidas.

Y sólo me inspira la afinación manual: he perdido la fe en la magia pasiva.

No conozco el algoritmo exacto para los pesos de las hojas, pero creo que depende de la secuencia de enlaces encontrados, no sólo de los enlaces en sí, es decir, si un nuevo árbol en el boosting está corrigiendo un error, el peso viene dado por el delta de la corrección del error, mientras que el nuevo enlace podría ser más valioso que la propia corrección. Lo ideal es comprobar dos veces los enlaces y sus pesos, comprobar el número de árboles binarios que intervienen en la decisión, si hay una docena de árboles que dan 0,5 de probabilidad en total, puede ser un enlace débil... Por otro lado, hay que tener en cuenta el tamaño del propio árbol (ahora utilizo la profundidad 4, sólo para identificar las reglas cortas en las hojas). Esto es sólo un pensamiento, no necesita una respuesta ...