Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2254

 
Maxim Dmitrievsky:

No estaba pensando mucho, sólo una suposición basada en curiosear.

hmm te dará fichas que el perro no ha visto antes. Pero similares a los que has visto. En una transformación inversa podría tener algún efecto, supongo. Añade algo de ruido.

Esto es una suposición.

Me estoy confundiendo un poco aquí...

De todas formas el PCA es lineal no distorsiona nada, si tienes todos los componentes puedes volver a poner lo que has descompuesto sin pérdidas

 
mytarmailS:

Ya estoy confundido aquí...

de cualquier manera el PCA es lineal no distorsiona nada, si tienes todos los componentes puedes volver a juntar lo que has descompuesto sin pérdida

Así que hay una trampa en otro lugar. Funciona bien con las imágenes con PCA, y peor con las citas, aunque más rápido.

Bueno, es comprensible... las imágenes y los números son fáciles de predecir, pero el mercado no es estacionario. Si se utiliza PCA, los componentes dejan de ser relevantes cuando cambia la volatilidad o algo así.

como los filtros digitales )))

 
Maxim Dmitrievsky:

Tu PCA no lo resuelve, los componentes dejan de ser relevantes cuando cambia la volatilidad

No sé a qué te refieres, pero...

Si se suman todos los componentes del ACP en los nuevos datos, se obtiene el mismo precio tic a tic, así que... No sé a qué te refieres con relevancia

 
mytarmailS:

No sé a qué te refieres, pero...

Si se suman todos los componentes del ACP en los nuevos datos, se obtiene el mismo precio tic a tic, así que... No sé a qué te refieres con relevancia.

hablemos del perro más tarde, tengo sueño)

los codificadores no trabajaron empíricamente

 
Maxim Dmitrievsky:

Hablemos del perro más tarde, tengo sueño).

codificadores no funcionó empíricamente.

Vale

 
mytarmailS:

Serás el primero.

Viendo un curso sobre el método bayesiano 2019, hay algunas ideas interesantes, pero las fórmulas inhiben la comprensión. He aquí una idea, que ha probado los enfoques modernos con la lógica bayesiana. En general, el profesor argumenta que toda la MO sin métodos bayesianos para estimar la probabilidad en la MO es sólo un ajuste.


Hablando de ajuste, cada vez me inclino más a concluir que los modelos CatBoost degradan sus resultados en muestras fuera del entrenamiento debido a la muestra poco representativa y a la forma en que se construye el modelo. La cuestión es que allí, en los modelos clásicos, los árboles son simétricos y no hay poda, lo que puede llevar a una situación en la que hay muy pocos datos en una hoja, pero la hoja recibe un peso no pequeño, y si se trata de una partición defectuosa, entonces en las muestras fuera del entrenamiento, si hay muchos ejemplos en la hoja defectuosa, llevará a una distorsión significativa de los resultados. Y podría haber miles de estas hojas. Si la muestra fuera representativa, no habría ningún problema, ya que el peso en la hoja sería adecuado y coherente con la naturaleza de la distribución de los datos (entropía). Deberías probar a desviar las hojas con un pequeño número de ejemplos poniendo a cero sus pesos.

La idea es que el modelo sólo responda a los datos de los que tiene conocimiento, no a un juicio del tipo "si esto está bien, esto está mal", como ocurre ahora.
 
Aleksey Vyazmikin:

Viendo un curso sobre el método bayesiano 2019, hay algunas ideas interesantes, pero las fórmulas dificultan la comprensión. He aquí una idea, que ha probado los enfoques modernos con la lógica bayesiana. En general, el profesor sostiene que toda la MO sin métodos bayesianos para estimar la probabilidad en la MO es sólo un ajuste.


Hablando de ajuste, cada vez me inclino más a concluir que los modelos CatBoost degradan sus resultados en muestras fuera del entrenamiento debido a la muestra poco representativa y a la forma en que se construye el modelo. La cuestión es que allí, en los modelos clásicos, los árboles son simétricos y no hay poda, lo que puede llevar a una situación en la que hay muy pocos datos en una hoja, pero la hoja recibe un peso no pequeño, y si se trata de una partición defectuosa, entonces en las muestras fuera del entrenamiento, si hay muchos ejemplos en la hoja defectuosa, llevará a una distorsión significativa de los resultados. Y podría haber miles de estas hojas. Si la muestra fuera representativa, no habría ningún problema, ya que el peso en la hoja sería adecuado y coherente con la naturaleza de la distribución de los datos (entropía). Debemos intentar derivar las hojas con un número reducido de ejemplos poniendo a cero sus pesos.

La idea es que el modelo reaccione sólo a los datos de los que tiene una idea, no un juicio del tipo "si esto está bien, esto está mal", como ocurre ahora.

La representatividad es una condición importante.

¿El katbust, cuando se divide, produce hojas con un pequeño número de ejemplares por hoja? La profundidad recomendada allí es de 6, es decir, 2^6=64, es decir, una hoja tendrá un promedio de 1/64 de las filas de toda la muestra. Si tiene al menos 10000 filas de formación, habrá unos 156 ejemplos por hoja de media. Creo que esto es bastante representativo en mi opinión.

Aunque si haces que los árboles sean simétricos, podría haber alguna distorsión. ¿Cómo de pequeñas fueron las hojas y cuántas filas se sometieron a la formación?

 
elibrarius:

La representatividad es un requisito importante.

¿El katbust, cuando se divide, produce hojas con un número reducido de ejemplares en la hoja? La profundidad recomendada allí es de 6, es decir, 2^6=64, es decir, la hoja tendrá un promedio de 1/64 de las filas de toda la muestra. Si tiene al menos 10000 filas de formación, tendrá unos 156 ejemplos por hoja de media. Creo que esto es bastante representativo en mi opinión.

Aunque si haces que los árboles sean simétricos, podría haber alguna distorsión. ¿Cómo de pequeñas fueron las hojas y cuántas filas se sometieron a la formación?

Ahora mismo no tengo cifras exactas, es sólo una suposición. Tengo que volver a mis antiguos códigos, creo que tuve la oportunidad de conseguir esas estadísticas allí, lo he olvidado. Tienes razón al decir que la media no parece desalentadora, pero eso no significa que no haya bastantes ejemplos en una hoja.

Vemos que los márgenes de probabilidad extrema en la muestra de entrenamiento y en la muestra de prueba suelen diferir significativamente - asumo que justo la razón son las hojas con números pequeños de ejemplos, tales hojas se encuentran raramente en la muestra de prueba.

 

Hay una visualización de la estimación de las estadísticas de activación de las hojas de los árboles, uno de los modelos antiguos.

La y es el número de hoja y la x es la fila de muestreo. El color muestra el coeficiente de peso de la hoja modulo.

Se puede ver que incluso aquí hay activaciones de hojas raras, lo que significa que la suposición es válida - es un examen de muestra


 
Aleksey Vyazmikin:

Hay una visualización de la estimación de las estadísticas de activación de las hojas de los árboles, uno de los modelos antiguos.

La y es el número de hoja y la x es la fila de muestreo. El color muestra el coeficiente de peso de la hoja modulo.

Se puede ver que incluso aquí hay activaciones de hojas raras, por lo que la suposición es razonable - es un muestreo


La rara activación en Exam significa más bien que el mercado ha cambiado y que lo que solía ocurrir en el trayn ha dejado de ocurrir. Y tampoco es necesario que haya habido pocas activaciones en la hoja de prácticas.