Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2739

 

Tema demasiado general. A menudo se desintegra en sus componentes. Hace tiempo que debería haberse dividido en varios hilos. Por ejemplo: 1. MO: preprocesamiento de datos. 2. MO: selección del modelo. 3. MO.Entrenamiento y optimización de modelos. 4. MO.Implementación de modelos. 5.MO. Automatización de IO.

La división es muy grande y aproximada, pero quedará claro de qué va la rama. Y así sobre todo y sobre nada.

Y por supuesto es necesario dar ejemplos de código reproducibles, sino no hay utilidad práctica de las charlas .

Suerte a todos

 
Aleksey Vyazmikin #:

¿Lo hace el guión o no?

Me sorprende la facilidad con la que mucha gente pierde aquí el hilo de la conversación.

Alexey, usted pidió un ejemplo de cómo ver la importancia de los signos con una ventana corredera.

Escribí un script para ti.

Luego quieres buscar en diferentes escalas o lo que quieras, ¿por qué demonios un script del pasado debería ser capaz de cumplir tus deseos en el futuro?

Así que me sorprende la cantidad de gente que aquí pierde fácilmente el hilo de la conversación. Ése eres tú.

 
Vladimir Perervenko #:

Tema demasiado general. A menudo se desintegra en sus componentes. Hace tiempo que debería haberse dividido en varios hilos. Por ejemplo: 1. MO: preprocesamiento de datos. 2. MO: selección del modelo. 3. MO.Entrenamiento y optimización de modelos. 4. MO.Implementación de modelos. 5.MO. Automatización de MOEs.

La división es muy grande y aproximada, pero quedará claro de qué va la rama. Y así sobre todo y sobre nada.

Y , por supuesto,es necesario dar ejemplos de código reproducible, de lo contrario no hay uso práctico de las conversaciones .

Suerte a todos

Más bien deberíamos dividirnos por las tareas que resolvemos, pero es demasiado individual...

Por ejemplo, en un hilo de preprocesamiento dos personas no encontrarán puntos en común si una predice ZZ en toda la muestra y la otra usa MO para seleccionar 10-20 clusters de todos los datos para unas necesidades.... Etc...

La misma mierda habrá, pero estará más untada en los temas
 
Valeriy Yastremskiy #:

SSF no dijo mucho nuevo, por supuesto, el objetivo de encontrar correlación entre predictores y resultados es un objetivo obvio. Lo único nuevo que capté fue que tiene unas 200 características significativas encontradas para todo el entrenamiento, pero para datos específicos, sólo utiliza el 5% de ellas.

Entiendo que esto significa que hay algunas formas de determinar rápidamente el estado/propiedades de una serie con el fin de seleccionar predictores más significativos sólo para los últimos datos. Por supuesto, se plantea la cuestión del volumen o la longitud para una selección adecuada. Pero aparentemente funciona incluso con sólo 200 predictores encontrados y seleccionados en todo el gran entrenamiento.

Yolo veo así. Una serie tiene propiedades que son estables en algunos índices, pero estos índices y su número son diferentes en diferentes secciones. MO encuentra algunos estados diferentes de duración suficiente de la estabilidad de la serie, que pueden ser descritos por diferentes modelos y en consecuencia la configuración del modelo - predictores. El número total de predictores es el número total de ajustes para diferentes modelos y, en consecuencia, al definir un modelo, se pueden encontrar rápidamente los ajustes previamente encontrados para él.


Una vez publiqué una tabla en este hilo, pero ahora no la tengo a mano, así que aclararé mi idea con palabras.

Me baso en la noción de correlación predictor-maestro. "Vinculación" NO es la correlación o "importancia" de los predictores a partir del ajuste de casi cualquier modelo de MOE. Esto último refleja la frecuencia con la que se utiliza un predictor en un algoritmo, por lo que se podría dar un gran valor de "importancia" a los anillos de Saturno o a los posos del café. Hay paquetes que permiten calcular el "vínculo" entre el predictor y el maestro, por ejemplo, basándose en la teoría de la información.

Unas palabras sobre la tabla que publiqué aquí.

La tabla contenía una estimación numérica del "vínculo" entre cada predictor y profesor. Se obtuvieron varios cientos de valores de "conectividad" a medida que se movía la ventana. Estos valores para un predictor concreto variaban. Calculé la media y la sd de cada "conexión", lo que me permitió

- aislar los predictores que tienen un valor de "conexión" demasiado pequeño - ruido;

- aislar los predictores que tienen un valor de "acoplamiento" demasiado variable. Fue posible encontrar predictores que tienen un valor de "acoplamiento" suficientemente grande y una sd inferior al 10%.


Una vez más, el problema de construir un CT basado en MO es encontrar predictores que tengan un valor grande de "acoplamiento" y un valor pequeño de sd cuando la ventana se mueve. En mi opinión, tales predictores garantizarán la estabilidad del error de predicción en el futuro.


NO es la primera vez que digo lo anterior. Desgraciadamente, la discusión entra constantemente en el ruido y el narcisismo.

 
mytarmailS #:

Alexei, has pedido un ejemplo de cómo ver la importancia de una característica con una ventana deslizante.

Escribí un script para ti...

Entonces quieres buscar en diferentes escalas o lo que quieras, ¿por qué demonios un script del pasado debería ser capaz de cumplir tus deseos en el futuro?

Así que me sorprende la cantidad de gente que aquí pierde fácilmente el hilo de la conversación. Ése eres tú.

Cómo es eso, pedí hacer un script - sí, cito " ¿Puedes hacer un script en R para los cálculos de mi muestra - lo ejecutaré por el bien del experimento. El experimento debe revelar el tamaño óptimo de la muestra. ", pero esto es en respuesta a algo que ya se ha hecho.

Antes escribí "... ¿Y cómo propones ver en la dinámica, cómo realizar? " - aquí estaba preguntando acerca de la implementación de la estimación del predictor en la dinámica, es decir, la estimación regular por alguna ventana y no está claro si se trata de una ventana en cada nueva muestra o después de cada n muestras. Si esto es lo que has hecho no lo entiendo.

El código que has colgado está muy bien, pero me cuesta entender qué hace exactamente o qué demuestra en esencia, así que he empezado a hacer preguntas adicionales. ¿Qué significan las dos imágenes con gráficos?

 
СанСаныч Фоменко #:

Una vez publiqué una tabla en este hilo, pero no la tengo a mano en este momento, así que aclararé mi pensamiento con palabras.

Me estoy basando en el concepto de correlación predictor-maestro. "Vinculación" NO es la correlación o "importancia" de los predictores a partir del ajuste de casi cualquier modelo MOE. Esto último refleja la frecuencia con la que se utiliza un predictor en un algoritmo, por lo que se podría dar un gran valor de "importancia" a los anillos de Saturno o a los posos del café. Existen paquetes que permiten calcular el "vínculo" entre el predictor y el maestro, por ejemplo, basándose en la teoría de la información.

Unas palabras sobre la tabla que he publicado aquí.

La tabla contenía una estimación numérica del "vínculo" entre cada predictor y profesor. Se obtuvieron varios cientos de valores de "conectividad" a medida que se desplazaba la ventana. Estos valores para un predictor concreto variaban. Calculé la media y la sd para cada "conexión", lo que permitió:

- aislar los predictores que tienen un "acoplamiento" demasiado pequeño - ruido;

- aislar los predictores que tienen un valor de "acoplamiento" demasiado variable. Fue posible encontrar predictores que tienen un valor de "enlace" suficientemente grande y una sd inferior al 10%.


Una vez más, el problema de construir un CT basado en MO es encontrar predictores que tengan un valor de "enlace" grande y un valor de sd pequeño cuando la ventana se mueve. En mi opinión, tales predictores garantizarán la estabilidad del error de predicción en el futuro.


NO es la primera vez que digo lo anterior. Desgraciadamente, la discusión entra constantemente en el ruido y el narcisismo.

Así que tienes el mismo enfoque que yo en esencia, ¡curioso! Sólo que tal vez buscamos la "conexión" de manera diferente. Como ventanas, tomo 10 parcelas de muestra y busco "conexión" en ellas, ¿cómo lo haces tú?

¿Cuál es su algoritmo para encontrar una conexión, puede describirlo?

 
СанСаныч Фоменко #:


NO es la primera vez que digo lo anterior. Por desgracia, el debate deriva constantemente hacia el ruido y el narcisismo.

sí, la verdadera discusión va a la presentación de los más dartagnan dartagnan en el fondo (palabra moderada) :-)

todo por la falta de resultados. Se puede mejorar y cambiar el método, pero el resultado es como una roca 50/50.

 
Aleksey Vyazmikin #:

Así que en esencia tienes el mismo enfoque que yo, ¡curioso! Sólo que quizá buscamos la "conexión" de forma diferente. Como ventanas, tomo 10 parcelas de muestra y busco "conexión" en ellas, ¿cómo lo haces tú?

¿Cuál es su algoritmo para encontrar una conexión, puede describirlo?

Utilizo mi propio algoritmo - funciona mucho más rápido que numerosas bibliotecas de R. Por ejemplo

biblioteca("entropía")

Puedes usar simplemente gráficos:



Todo ha sido publicado en este hilo. Todo está sistemáticamente descrito y masticado a nivel de código en los artículos de Vladimir Perervenko

 
Maxim Kuznetsov #:

sí, el verdadero disco entra en presentar la dartana más dartagnanizada del fondo (palabra moderada) :-)

todo por la falta de resultados. Usted puede mejorar y cambiar el método, pero el resultado es como una roca 50/50.

Llegar al nivel de un asesor no es fuerza suficiente. Pero el resultado del error de ajuste del modelo: del 8% al 22% es el error de ajuste, que difiere poco en la zona de ajuste y fuera de la muestra.

 
СанСаныч Фоменко #:

Una vez publiqué una tabla en este hilo, pero no la tengo a mano en este momento, así que aclararé mi pensamiento con palabras.

Me estoy basando en el concepto de correlación predictor-maestro. "Vinculación" NO es la correlación o "importancia" de los predictores a partir del ajuste de casi cualquier modelo MOE. Esto último refleja la frecuencia con la que se utiliza un predictor en un algoritmo, por lo que se podría dar un gran valor de "importancia" a los anillos de Saturno o a los posos del café. Existen paquetes que permiten calcular el "vínculo" entre el predictor y el maestro, por ejemplo, basándose en la teoría de la información.

Unas palabras sobre la tabla que he publicado aquí.

La tabla contenía una estimación numérica del "vínculo" entre cada predictor y profesor. Se obtuvieron varios cientos de valores de "conectividad" a medida que se desplazaba la ventana. Estos valores para un predictor concreto variaban. Calculé la media y la sd para cada "conexión", lo que permitió:

- aislar los predictores que tienen un "acoplamiento" demasiado pequeño - ruido;

- aislar los predictores que tienen un valor de "acoplamiento" demasiado variable. Fue posible encontrar predictores que tienen un valor de "enlace" suficientemente grande y una sd inferior al 10%.


Una vez más, el problema de construir un CT basado en MO es encontrar predictores que tengan un valor de "enlace" grande y un valor de sd pequeño cuando la ventana se mueve. En mi opinión, tales predictores garantizarán la estabilidad del error de predicción en el futuro.

¿Qué paquetes?