Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 613

 
Vladimir Perervenko:

Sorprendido. ¿Qué tipo de modelo es el que cuenta con más de una hora?

Deberían ser 1-2 minutos como máximo.

Red 88-50-20-2, 86400 líneas de datos de entrenamiento en 88 predictores. + 28800 para los datos de validación y para la sección de prueba (sin embargo, se cuentan rápido).

 
Vizard_:

Profesor, me da vergüenza preguntar. ¿Cuánto debe costar un modelo?
¿Seguro que no traerá centavos? Tal vez exista una fórmula (precio-calidad)).


Bueno, obviamente no dos kopecks, Trickster.....Deberías entenderlo, no eres un niño pequeño.....

La búsqueda de un modelo generalizador en un espacio de datos multidimensional no es una tarea rápida y optimizadora. El aumento de los requisitos y las reglas cada vez más estrictas para la construcción de modelos con el fin de reducir el efecto de sobreaprendizaje conduce a aumentar el tiempo necesario para encontrar dicho modelo. Así que hay que sacudir los datos a fondo....

¿Por qué el mismo archivo en AWS y en Reshetny's tiene un tiempo diferente? AWS 2-5 minutos, Reshetov 3 horas y su modelo es el doble de bueno que los modelos de AWS/ ¿Por qué?

 
elibrarius:

Red 88-50-20-2, 86.400 líneas de datos de entrenamiento en 88 predictores. + 28.800 por datos de validación y parcela de prueba (sin embargo, cuenta rápidamente)


Con un conjunto así, Reshetov contaría para siempre :-)

Déjame contarte un secreto de Forex. El alfa en los datos sólo puede estar en una sección muy corta. Con mis datos aún no he podido aumentar este parámetro más de 50 filas. Me refiero a que tengo 100 columnas y 50 filas. Esto cubre unas dos semanas de mercado. Es decir, si empiezo a aumentar el intervalo de entrenamiento, la calidad del modelo cae por debajo del 75% y la calidad del CB se vuelve tal que es imposible trabajar en él, bajo su propio riesgo. Así que no entiendo qué quieres hacer con estos miles de registros. No se puede construir un modelo para todo el mercado con un nivel aceptable de calidad de formación: cuanto más grande sea el área de formación, peor será el modelo. Y si muestra buenos resultados en tal área, entonces no tiene nada que ver con el concepto de generalización..... Ya sabes lo que quiero decir......

¿Sabes por qué no puedes construir modelos en un tramo largo con buen rendimiento? Porque esos datos... entradas.... que podría construir tal modelo NO existe en la naturaleza en principio..... No hay datos de este tipo, de lo contrario se habría generalizado su uso hace mucho tiempo. Me refiero a los datos disponibles públicamente....... no a la información privilegiada o lo que sea.... Así que... No entiendo por qué tantas líneas????

 
Mihail Marchukajtes:

Con un conjunto así, Reshetov contaría para siempre :-)

Déjame contarte un secreto de Forex. El alfa en los datos sólo puede estar en una sección muy corta. Con mis datos aún no he podido aumentar este parámetro más de 50 filas. Me refiero a que tengo 100 columnas y 50 filas.

No se pueden construir tales modelos, la longitud de muestreo debe ser al menos 5 veces el número de características, y se tienen más características que el muestreo y la maldición de la dimensionalidad

Muestras ignorancia en lugar de revelar el secreto de Forex.

 
Mihail Marchukajtes:
Así que no entiendo qué quieres hacer con estos miles de registros. No podrá construir un modelo sobre todo el mercado con un nivel aceptable de calidad de formación. Y si muestra un buen resultado en tal área, no tiene nada que ver con el concepto de generalización..... Ya sabes lo que quiero decir......

Es un M1, sólo 60 días. Así que no para todo el mercado, sino para los últimos 3 meses.

Cuando la duración se duplica, el modelo ya no construye.... Optimizar la duración, por supuesto, pero aún no he llegado a eso. Me gustaría averiguar primero el número de capas.

Si construyes al menos 10 modelos, tardarás entre 8 y 10 horas en calcularlos(((

Hay 3 fórmulas para calcular, encontrar el mínimo y el máximo, calcularlos, luego 2-3 entre ellos, y 2-3 fuera. Y luego, a partir de todo esto, elegir los mejores modelos y, si ya están calculados, ensamblarlos.

PS Hm. Esto es con 2 capas ocultas, y la misma cantidad con 1 capa.

En general, las veinticuatro horas determinarán el modelo.

 
elibrarius:

En general, 24 horas determinarán el modelo.


No soy un fanático de la minería, el precio es 3 veces mayor que el de las tarjetas normales).

Los fanáticos de la minería han multiplicado por 3 el precio de todas las tarjetas normales.

 
elibrarius:

Es un M1, sólo 60 días. Así que no para todo el mercado, sino para los últimos 3 meses.

Al duplicar la duración, el modelo dejó de construirse.... Optimizar la duración, por supuesto, pero aún no he llegado a eso. Me gustaría averiguar primero el número de capas.

Si construyes al menos 10 modelos, tardarás entre 8 y 10 horas en calcularlos(((

Hay 3 fórmulas para calcular, encontrar el mínimo y el máximo, contarlos, luego 2-3 entre ellos, y 2-3 fuera. Y luego, a partir de todo esto, elegir los mejores modelos y, si ya están calculados, ensamblarlos.

PS Hmm. Eso es con 2 capas ocultas, y la misma cantidad con 1 capa.

En general, 24 horas determinarán el modelo.

Preferiblemente, debería intentar construir un modelo basado en el principio del análisis fractal utilizando dichos datos. Cuando se utilizan varios plazos para entrar. Maxim nos mostró un buen video sobre la fractalidad del mundo.
En general puedo sugerirte un servidor dedicado para i7 3-4Ghz y ssd por sólo 7-8 dólares al mes. Cuenta bien, y el ordenador no estará tan ocupado.
 

Tengo la idea de que la entrada (y posiblemente la salida) puede ser alimentada con distribuciones de citas de cierta profundidad, o momentos de distribuciones

Así se conseguirá una imagen suavizada y probabilística y, tal vez, un número limitado de ciertas variantes, lo cual es importante. Pero aún no lo he hecho, para ello necesito inflar el análisis de la varianza.

Si tenemos en cuenta los fractales, entonces mb. las relaciones de las distribuciones entre diferentes tf. Pero hay que trabajar seriamente el tema, para dibujar un diagrama

 
Mihail Marchukajtes:

Encontrar un modelo generalizable en el espacio de datos multidimensional no es un proceso rápido desde el punto de vista de la optimización, porque el aumento de los requisitos y la introducción de reglas cada vez más estrictas para la construcción de modelos con el fin de reducir los efectos del sobreaprendizaje aumentarán el tiempo necesario para encontrar dicho modelo. Así que hay que sacudir los datos a fondo....

¿Por qué el mismo archivo en AWS y en Reshetny's tiene un tiempo diferente? AWS 2-5 minutos, Reshetov 3 horas y su modelo es dos veces mejor que los modelos de AWS/ ¿Por qué?

El modelo de Reshetov no es una referencia. Por ejemplo, la búsqueda de un conjunto de predictores en él se realiza probando diferentes variantes: el modelo toma un conjunto aleatorio de predictores, se entrena y recuerda el resultado. Esto se repite un gran número de veces en un bucle, y el mejor resultado se utiliza como modelo final. Este proceso puede acelerarse notablemente si primero se hace una selección de predictores con un algoritmo especial y luego se entrena el modelo Reshetov sólo una vez con ese conjunto concreto. Y se obtiene la calidad del modelo Reshetov a una velocidad comparable a la de AWS. El "coste" de este modelo bajará considerablemente, pero la calidad seguirá siendo la misma.

 
Aleksey Terentev:
Creo que deberías intentar construir un modelo basado en el principio del análisis fractal con esos datos. Cuando hay que introducir varios plazos. Maxim mostró un buen video sobre la fractalidad del mundo.
En general puedo sugerirte un servidor dedicado para i7 3-4Ghz y ssd por sólo 7-8 dólares al mes. Cuenta bien, y el ordenador no estará tan ocupado.
Unos cuantos TFs y uso) Sólo analizando cada minuto. No necesito un servidor, ¡gracias!