Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 1909

[Rorschach]

Mihail Marchukajtes:

Tengo un archivo sucio de 7700 columnas donde tomo 24 ligas, así que no sigas, sino que mira aquí. Aquí está su archivo.

Y aquí está la mía.

Cuál es la diferencia???? No te mantendré en suspenso. En el análisis de componentes principales, cuando cada columna es su propio sistema de coordenadas, es importante que puedan agruparse para que los puntos de diferentes columnas puedan representarse en el mismo sistema de coordenadas. La interpretación es sencilla. Cuantos más vectores verticales y horizontales, más frío es. Lo que tienes es una mancha uniforme y contundente.

Si quieres comprimir la información, comprueba primero la autocorrelación, y puedes dejar con seguridad sólo 1 entrada, pero la red no funcionará, porque no hay memoria.

[Mihail Marchukajtes]

Rorschach:

Si quieres comprimir la información, entonces comprueba primero la autocorrelación, y puedes dejar con seguridad sólo 1 entrada, sólo que la red no funcionará porque no hay memoria.

La memoria no es lo más importante para una red -son los retrasos los que la proporcionan-, pero la calidad de la partición de clases (si hablamos de clasificación) es muy importante. Es necesario obtener un conjunto de datos que no tenga incoherencias y que las clases estén agrupadas. Todo ello conduce a una separación cualitativa. Corrí su archivo en Rattle (shell gráfico en P) hay un método de vectores de referencia y el resultado fue el 65% de la redundancia. Es decir, si el conjunto de datos es una G simple, no habrá peces en él. Pero estos métodos no requieren grandes conjuntos de datos. Tal vez esté utilizando una configuración de IA tal que al utilizar todo el conjunto pueda obtener una alta puntuación de aprendizaje, pero suele ser un poco exagerado, nada más.

[Maxim Dmitrievsky]

Mihail Marchukajtes:

Bueno y además el modelo estima.

Los predictores indican el número de columnas en el archivo

258 número total de vectores. He eliminado la clase 0 y he dejado la clase 2 renombrada a cero, ya que estaban equilibradas en número con la clase 1, 19,60 es el error cuadrático, o más bien la diferencia entre el lineal recto y el cuadrático debería tender a cero, 79,141 es la capacidad de generalización, al llegar a 100 la diferencia entre los errores disminuye, 69,767 es la espicificación. El total de la parcela de control es de 75 con una Generalizabilidad de 70. La respuesta es NO SABER que tenemos 77 vectores de la muestra total donde la parcela de control tenía 17.

De hecho, obtuve peores resultados en el entrenamiento, pero en la sección de control son muy superiores. Además, no era una sección de prueba como la suya, sino una de control, la que la red no había visto en absoluto. La de prueba es cuando se entrena en la de entrenamiento para que funcione bien en la de prueba, es decir, potencialmente la red ve la sección de prueba durante el entrenamiento. El de la prueba no lo hace. Preguntas????

Adabust me dio 79 sobre 79

[Mihail Marchukajtes]

Maxim Dmitrievsky:

Adabust me dio 79 por 79

¿Pueden cambiar mi modelo por OOS?

[Rorschach]

Mihail Marchukajtes:
Tal vez esté utilizando una configuración de IA que pueda obtener una alta puntuación de aprendizaje utilizando todo el conjunto

Eso es exactamente lo que es. Permítanme intentar explicarlo de otra manera. Supongamos que tenemos un sistema clásico sobre Ma(100) y el precio. Cruce al alza comprar, cruce a la baja vender. Por lo general, introducimos el Ma y el precio en la entrada y las señales del sistema en la salida. De esta forma se ahorra en insumos, ya que la ma se calcula de antemano y se introduce en la red en forma lista. Otra posibilidad es alimentar la red no con ma, sino con 100 retardos de precio (para que la red se calcule a sí misma) en la entrada y las señales del sistema en la salida. En esta forma, las redes no pueden alimentarse con menos de 100 retrasos en los precios.

[Mihail Marchukajtes]

Rorschach:

Esto es todo. Voy a intentar explicarlo de otra manera. Digamos que hay un sistema clásico en ma(100) y precio. Compra de cruces al alza, venta de cruces a la baja. Por lo general, introducimos el Ma y el precio en la entrada y las señales del sistema en la salida. De esta forma se ahorra en insumos, ya que la ma se calcula de antemano y se introduce en la red en forma lista. Otra posibilidad es alimentar la red no con ma, sino con 100 retardos de precio (para que la red se calcule a sí misma) en la entrada y las señales del sistema en la salida. En esta forma, la red no puede alimentarse con menos de 100 rezagos de precios.

Pensamientos primitivos y cuanto antes te deshagas de ellos antes saltarás del pozo de tus delirios. Estás rompiendo una de las principales reglas de la preparación de modelos. Recuerde que estamos aquí una vez con Alexey Vyazemsky fue activo en los Juegos Olímpicos, por lo que como un signo de gratitud que he podnakil él acerca de los retrasos y el efecto que me sorprendió. Soy un practicante, y luego un teórico. Permítanme citar una parte de mi correspondencia en la que se revela la esencia de lag

Cita:

Ejem, ejem... divertido. Bueno, no te aburriré. Has sido bueno conmigo, así que te lo diré. Soy practicante y a menudo me tropiezo con diversos fenómenos, que luego trato de explicar en teoría o de elaborar en detalle los efectos que descubrí. Pero lo más interesante es obtener las respuestas a mis preguntas. Así que teníamos una pregunta. Cómo dotar al clasificador de datos históricos en lugar de datos actuales al entrenarlo. Cuando se construye un modelo predictivo basado en la regresión, el orden de los datos es muy importante, es decir, si se formó un archivo de entrenamiento a partir del historial, en ningún caso deben intercambiarse o mezclarse. Es la secuencia de datos (que van en estricto orden) la que permite a los modelos predictivos ver toda la historia de la muestra de entrenamiento y como dije los primeros datos de la muestra de entrenamiento afectan a los últimos datos debido al ordenamiento. Eso es del pasado al futuro y nunca deben mezclarse. Recuerda que Max lo intentó una vez pero el resultado fue decepcionante. Porque la mezcla no es aplicable a la regresión. La clasificación es otra cosa, cuando el método de mezclar aleatoriamente el conjunto de entrenamiento es necesario para evitar el sobreentrenamiento. En otras palabras, obtenemos una estimación real de la calidad de la formación, no una inflada porque los datos han sido barajados con éxito. Rotamos a través de 10 épocas, barajamos el conjunto, lo volvemos a rotar, lo volvemos a barajar. En este caso, no hay conexiones entre los vectores de entrenamiento y esencialmente cada vector va por su cuenta.

2020.07.02 22:47

Así que me pregunté cómo proporcionar al NS no sólo los valores de los indicadores para la señal actual, sino también el historial. Finalmente, tengo una idea. Es muy sencillo. Guardamos los indicadores en el momento de la señal, luego tomamos los valores del indicador anterior para la señal actual, luego otro para la señal anterior, etc. Como resultado, para la señal actual, no sólo se guardan sus indicadores, sino también los de las señales anteriores. En este momento tomo un retraso de 24 señales. Es decir, para la señal actual, guardo los valores de los indicadores de hace 24 señales. Recuerdo haber dicho en el foro que el archivo de entrenamiento contiene 7500 columnas para 50 líneas, pero nadie fue capaz de adivinar cómo llegaron allí. Problema de la zona de MO, aquí somos todos demasiado listos :-)

2020.07.02 22:52

Ahora vayamos al grano:
Como habrás notado, guardo datos de 15 instrumentos y uso estos datos para construir varios indicadores. Tomo la función estocástica. Tomo la desviación estándar acumulada y eso es todo. Como resultado, tengo 307 barras de entrada únicas que son primarias para la señal actual. Como resultado, tomo estas 307 barras para la señal actual y le añado (la señal) 307 barras de las 24 señales anteriores. El significado de este decreto en la aparición de la señal para presentar los datos a la NS inmediatamente para las últimas 24 señales. Esta es la transformación que permite la clasificación para profundizar en la historia de la señal actual. Es esencialmente un retraso a 24 de profundidad

2020.07.02 22:59

PERO he dejado lo más interesante para el último párrafo: Seguro que has oído hablar del addon vtreat para P. Así que esta bestia realiza un preprocesamiento de datos identificando columnas significativas para la variable de salida. Por regla general, después de su procesamiento hay 130-180 columnas realmente significativas. Pero lo paradójico es que los valores actuales de los indicadores de la señal actual rara vez entran en esta muestra. Muy raramente. El mismo desfase de 24 no es un invitado infrecuente en el archivo postprocesado. En otras palabras, los valores de los indicadores que estaban disponibles hace 24 rezagos son críticos para la función objetivo. Básicamente, la idea es tan simple como un 5 kopecks. Guarde una muestra lo suficientemente grande, luego multiplique las columnas hacia abajo por una celda de Excel y posprocese. ¡Eso es ganancia!

La cita está completa:

La red no podrá hacer nada por sí misma. Lo que le das como entrada es lo que obtienes como resultado. No todos los rezagos son buenos, como demuestra la práctica, y en su conjunto no hay una sola columna que ayude a NS a conseguir de alguna manera un modelo adecuado..... ¡¡¡¡¡Buena suerte!!!!!

[Mihail Marchukajtes]

Y cuando se hace correctamente, el modelo funciona así.....

[Aleksey Nikolayev]

Valeriy Yastremskiy:

Sí, mal) Aparentemente todo son fallos en el parsing, o en los datos leídos.

Es poco probable que la normalización sea conveniente. Lo bueno es que necesitamos datos de noticias de archivo en el terminal, una posibilidad regular de cargarlos y un servicio para trabajar con ellos. No creo que no haya archivos) Pero a juzgar por la posición de los creadores, hasta que los usuarios no digan su palabra, lo que quieren, no se pondrá en marcha, y si se pone en marcha, primero en una versión de pago).

Bueno, sí, el calendario libre y bueno apenas es posible).

[Valeriy Yastremskiy]

Aleksey Nikolayev:

Sí, bueno, un calendario libre y bueno no es posible en absoluto)

Sí, usted puede hacer un mal calendario, largo y preciso) en el archivo) es un servicio de menta) sobre ahora parsing por sí mismo)

[Rorschach]

Mihail Marchukajtes:

Gracias, es interesante, no se me habría ocurrido utilizar las señales anteriores. Esto nos lleva a preguntarnos si la red es un vínculo innecesario en absoluto.

Eso es lo que me parece interesante de la red, para no desvirtuar las características. De lo contrario, sería más fácil hacer un sistema clásico.

Tendré que hacer más experimentos, cogeré un número muy grande de ejemplos en el sistema Machka, para que al entrenar no haya ni una sola repetición y me quepa en una sola época.