Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 31

Nuevo comentario
 
Alexey Burnakov:

Yuri, la primera prueba con tus datos:

método función_de_pérdida cv_folds bag_frac parámetros_del_modelo AUC_cv precisión_entrenamiento accuracy_validate
GBM bernoulli 4 0.4 0.015_|_7_|_70_|_600 0.429659 0.590361 0.50501
GBM bernoulli 4 0.6 0.02_|_5_|_110_|_600 0.485727 0.586345 0.51503

Dos conjuntos diferentes de valores de parámetros para el entrenamiento. Cabe destacar que el AUC está por debajo del plinto en la validación cruzada.

En general, una precisión del 51,5% en la prueba es lo mejor que ha resultado.

Ni siquiera sé cómo se puede evitar el 60%.

Deberíamos desechar ese conjunto de predictores.

Si estúpidamente tomamos todos los incrementos de paso y unos pocos osciladores más de 100 predictores con más de 5000 observaciones, es decir, H1, entonces de tal conjunto podemos elegir 10-15 predictores que no sólo darán menos del 40% de error de predicción, sino que lo más importante es que no darán un modelo REFERIDO.

 
SanSanych Fomenko:

Deberíamos desechar este conjunto de predictores.

Si estúpidamente tomamos incrementos de todo con unos pocos osciladores sobre 100 predictores con más de 5000 observaciones, es decir, H1, de tal conjunto podemos elegir 10-15 predictores que no sólo darán un error de predicción inferior al 40%, sino que lo más importante es que NO darán un modelo REPROBADO.

Todavía no sabemos qué características incluye Yuri en el kit. Dice que todos son necesarios.
 

En general, nunca he tenido una precisión de clasificación superior al 51,5%. En consecuencia, el resto de las métricas también se acercarán a la adivinación aleatoria.

El equilibrio de las respuestas en la prueba es casi perfectamente 50/50.

Yuri, espero tus revelaciones.

 
Tengo un 50% de predicciones correctas en test.csv, todas poco prometedoras. Estoy de acuerdo en que el conjunto de predictores no es muy bueno, Yuri, añade más indicadores estándar, si tu modelo es realmente tan bueno entonces creo que puedes conseguir un 80% o más de predicciones correctas con buenos predictores.
 
Alexey Burnakov:

En general, nunca he tenido una precisión de clasificación superior al 51,5%. En consecuencia, el resto de las métricas también se acercarán a la adivinación aleatoria.

Las respuestas equilibradas en la prueba son casi perfectamente 50/50.

Gracias por la información. Si nadie pudo obtener un mejor resultado, y yo mismo he estado corriendo este conjunto de datos en Weka y también es un fastidio allí, entonces es hora de actualizar la versión de libVMR. El 60% de respuestas correctas en estas muestras no es un límite, si se aplica la nueva versión.
Alexey Burnakov:

Yuri, estoy esperando tus revelaciones.

No estoy ocultando nada. Para la versión antigua cuyos resultados ya he dado más arriba, toda la información está en acceso abierto:

Descripción del método de construcción del clasificador binario: https://sites.google.com/site/libvmr/

Código fuente Java con comentarios: https://sourceforge.net/p/libvmr/code/HEAD/tree/trunk/

Construye: https://sourceforge.net/projects/libvmr/files/

Векторная машина Решетова
  • sites.google.com
Теория и практика алгоритмов машинного обучения обладающих обобщающей способностью
 
Yuri, gracias.

Hay una cosa que no entiendo. Si el conjunto es linealmente separable, ¿por qué no utilizar el método SVM habitual? ¿Cómo es que el tuyo es mejor?
 
Alexey Burnakov:
Yuri, gracias.

Hay una cosa que no entiendo. Si el conjunto es linealmente separable, ¿por qué no utilizar el método SVM habitual? ¿Cómo es que el tuyo es mejor?

Si el conjunto es linealmente separable, entonces el número de hiperplanos potenciales de separación es infinito. En tal caso, hay que encontrar algún criterio para identificar un hiperplano adecuado. Uno de estos criterios se ha formulado para el método de los vectores de referencia en el libro: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscú: Nauka, 1974. Más concretamente, en este libro se consideran muchos criterios diferentes.

Tanto SVM como VMR son métodos de vectores de referencia.

  • La SVM es un método para reconstruir dependencias a partir de datos empíricos. El criterio es la distancia máxima entre hiperplanos de referencia, si el espacio es linealmente separable. Véase Vapnik V. N. Reconstrucción de la dependencia a partir de datos empíricos. Moscú: Nauka, 1979.
  • VMR es un método para identificar las dependencias fuertes y eliminar (reducir) las débiles. El criterio es el minimax de la distancia entre los hiperplanos de referencia, independientemente de la separabilidad lineal. Es decir, VMR no recupera las dependencias (no añade nada al modelo que se sabe que falta en la muestra de entrenamiento), por no mencionar el hecho de que algunas dependencias implícitas no entran en el modelo (se tamizan). Más concretamente, el VMR reduce el hiperespacio reduciendo algunas de las características.

Se puede discutir durante mucho tiempo qué método es mejor o peor. Sin embargo, se puede tomar y comprobar la generalizabilidad y entonces todo encajará.

 
Yury Reshetov:

Si el conjunto es linealmente separable, entonces el número de hiperplanos potenciales de separación es infinito. En este caso es necesario encontrar algún criterio para identificar un hiperplano adecuado. Uno de estos criterios se ha formulado para el método de los vectores de referencia en el libro: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscú: Nauka, 1974. Más concretamente, en este libro se consideran muchos criterios diferentes.

Tanto SVM como VMR son métodos de vectores de referencia.

  • La SVM es un método para reconstruir dependencias a partir de datos empíricos. El criterio es la distancia máxima entre los hiperplanos de referencia si el espacio es linealmente separable. Véase Vapnik V. N. Reconstrucción de la dependencia a partir de datos empíricos. Moscú: Nauka, 1979.
  • VMR es un método para identificar las dependencias fuertes y eliminar (reducir) las débiles. El criterio es el minimax de la distancia entre los hiperplanos de referencia, independientemente de la separabilidad lineal. Es decir, VMR no recupera las dependencias (no añade nada al modelo que se sepa que falta en la muestra de entrenamiento), por no mencionar el hecho de que algunas dependencias implícitas no entran en el modelo (se tamizan). Más concretamente, el VMR reduce el hiperespacio reduciendo algunas de las características.

Se puede discutir durante mucho tiempo qué método es mejor o peor. Sin embargo, es posible tomar y comprobar la capacidad de generalización, y entonces todo se mantendrá en los lugares.

Los problemas deben resolverse a medida que llegan, y poner el carro (el modelo) delante del caballo (los predictores) es un ejercicio absolutamente inútil. Más aún si se comparan los carros, cuando no se sabe qué es lo que se enjaula en ellos y si se enjaula en absoluto.

Antes de aplicar cualquier tipo de modelos es necesario limpiar la lista de predictores del ruido, dejando sólo los predictores que son "relevantes" para la variable objetivo. Si no se hace esto, se puede caer fácilmente en la construcción de modelos basados en los anillos de Saturno, los posos del café y otros predictores que se han utilizado ampliamente en la práctica durante varios cientos de años.

ElDr. Trader ha intentado eliminar el ruido de su conjunto de predictores.

El resultado es negativo.

Creo que la razón del resultado negativo es el pequeño número de observaciones con un número muy grande de predictores. Pero esta es la dirección en la que hay que cavar antes de aplicar CUALQUIER modelo.

 
Yury Reshetov:

Si el conjunto es linealmente separable, entonces el número de hiperplanos potenciales de separación es infinito. En este caso es necesario encontrar algún criterio para identificar un hiperplano adecuado. Uno de estos criterios se ha formulado para el método de los vectores de referencia en el libro: Vapnik V. N., Chervonenkis A. Y. The theory of pattern recognition. Moscú: Nauka, 1974. Más concretamente, en este libro se consideran muchos criterios diferentes.

Tanto SVM como VMR son métodos de vectores de referencia.

  • La SVM es un método para reconstruir dependencias a partir de datos empíricos. El criterio es la distancia máxima entre los hiperplanos de referencia si el espacio es linealmente separable. Véase Vapnik V. N. Reconstrucción de la dependencia a partir de datos empíricos. Moscú: Nauka, 1979.
  • VMR es un método para identificar las dependencias fuertes y eliminar (reducir) las débiles. El criterio es el minimax de la distancia entre los hiperplanos de referencia, independientemente de la separabilidad lineal. Es decir, VMR no recupera las dependencias (no añade nada al modelo que se sabe que falta en la muestra de entrenamiento), por no mencionar el hecho de que algunas dependencias implícitas no entran en el modelo (se tamizan). Más concretamente, el VMR reduce el hiperespacio reduciendo algunas de las características.

Se puede discutir durante mucho tiempo qué método es mejor o peor. Sin embargo, es posible tomar y comprobar la capacidad de generalización, y entonces todo se mantendrá en los lugares.

Yury, gracias. Lo pensaré.

Tenemos una pregunta. ¿Cómo se seleccionaron los predictores?
 



Desgraciadamente, no puedo calcular Sharpe y similares en R porque tengo 49 muestras aleatorias que, superpuestas, no reconstruyen la secuencia de operaciones.


R tiene todo lo que necesitas. Véase fTrading::sharpeRatio.

Ah, y PerformanceAnalitics no estaría de más que le echaras un vistazo también.

Buena suerte

1...242526272829303132333435363738...3399
Nuevo comentario