Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 2589

 
mytarmailS # :
https://stats.stackexchange.com/questions/31513/new-revolutionary-way-of-data-mining

En esta pregunta se plantean reflexiones muy interesantes...

Por cierto, los encuestados siguen sin entender la esencia de la pregunta

A la hora de elegir un modelo sugiero optimizar no por el beneficio en el OOS, sino por la relación entre este beneficio y el beneficio en la bandeja. O descartar los modelos con un ratio pequeño y sacar el máximo beneficio para OOS del resto. Esto es si se toman las citas literalmente, sin especular.

 
Aleksey Nikolayev #:

A la hora de seleccionar un modelo, se sugiere optimizar no por el beneficio en OOS, sino por la relación entre este beneficio y el beneficio en la bandeja. O bien desechar los modelos con un ratio pequeño y sacar el máximo beneficio en OOS de los restantes. Esto es si se toman las citas literalmente, sin especular.

Aleksey, ¿me das un trozo de la cita en la que se habla del beneficio, del máximo beneficio, tirando de modelos....

Hasta ahora, parece que estás haciendo que suene como...
literal, sin especular.
 
Aleksey Nikolayev #:

A la hora de seleccionar un modelo, se sugiere optimizar no por el beneficio en OOS, sino por la relación entre este beneficio y el beneficio en la bandeja. O bien desechar los modelos con un ratio pequeño y tomar el máximo de los restantes en términos de beneficio en OOS. Esto es si se toman las citas literalmente, sin especular.

En mi ejemplo anterior con monedas y 10000 personas. Que la cara sea 1 y la cruz 0. Si actuamos según el algoritmo dado, tampoco conseguiremos nada. Esto es bastante comprensible en el contexto descrito. En otras palabras, si nos encontramos con algún borde, entonces no es tan importante si tomamos la proporción de beneficios en IS y OOS o algo más, y si no hay ningún borde, entonces nada de tales métodos funcionará.


¡Exactamente! En primer lugar, debemos evaluar la presencia de un borde. Y luego debemos pensar en cómo seleccionar. Por ejemplo, de la siguiente manera: miramos en IS la proporción de modelos por alguna métrica superior a un determinado umbral. Por ejemplo, el porcentaje de victorias es superior al 55% - 45% de los modelos. Clasifícalos por índice de victorias y toma algunos TOP. ¿Comprobamos los resultados de este top en OOS? De los modelos seleccionados, ¿el porcentaje de victorias superior al 55% lo da el mismo 45% (proporción de modelos que dan ese compromiso en OOS con respecto a todos los seleccionados)? - Creo que este grupo de modelos se puede descartar con seguridad. Si podemos ver que esa selección de modelos superiores funciona, significa que hay una ventaja, por lo fuerte que es este efecto podemos evaluar la calidad del patrón. Se decide que es lo suficientemente fuerte. Toda la selección posterior es una cuestión de técnica - aunque por el mismo índice de victorias, PF, no hay que molestarse con métricas y lógicas complicadas, y por índice de victorias y PF directamente en el SI.

 
mytarmailS #:
Alexei, puedo tener un trozo de la cita donde dice beneficio, máximo beneficio, tirando de modelos....

Porque hasta ahora parece una calumnia feroz y estás declarando como...
literalmente, sin especulaciones

Tengo una traducción libre) La cuestión es que inicialmente se entrenan muchos modelos y al final hay que elegir un modelo que funcione (evaluación del modelo). El camarada afirma que todo el mundo suele elegir el modelo que da el máximo resultado en el OOS y este es el enfoque equivocado. Su segunda cita indica cómo debe hacerse.

Sabe que lo está haciendo bien si la media de los modelos fuera de la muestra es un porcentaje significativo de la puntuación dentro de la muestra. Esto se traduce en maximizar la relación entre el beneficio en OOS y el beneficio en pista.

En general, se llega a algún sitio si los resultados fuera de la muestra son más del 50% de los de la muestra. Esto se traduce en descartar los modelos en los que la relación entre el beneficio de los OOS y el beneficio de los traine es inferior a 0,5
 

Bueno, es una especie de cuestión de selección de modelos, sí, como en la optimización. Usted puede elaborar su propio criterio subjetivo.

No es malo que haya un montón de modelos con parámetros ligeramente diferentes, es decir, que permitan la variación, pero que todos pasen el OOS. Pero no es una panacea, por supuesto.

 
Aleksey Nikolayev #:
Alexey, ¿hay alguna técnica para restaurar la superficie de optimización?
Ejecutas el algoritmo para buscar parámetros, encuentra algo, y utilizas los datos del algoritmo para restaurar la superficie de optimización...
Estamos hablando de algoritmos heurísticos, no de una búsqueda completa de forma natural...
Lo he buscado en Google, pero no hay resultados.
 
mytarmailS #:
Alexey, ¿hay alguna técnica para restaurar la superficie de optimización?
Se ejecuta un algoritmo de búsqueda de parámetros, éste encuentra algo, y se utilizan los datos del algoritmo de búsqueda para reconstruir la superficie de optimización...
Estamos hablando de algoritmos heurísticos, no de una búsqueda completa de forma natural...
Lo he buscado en Google, pero no hay resultados.

¿Suplementar las métricas de calidad del modelo para la entrada que falta, convencionalmente, conjuntos de valores de giperámetros? La potenciación es sencilla de enseñar. ¿Para qué se necesita eso?

 
Replikant_mih #:

¿Suplementar las métricas de calidad del modelo para los conjuntos de valores de hiperparámetros entrantes, condicionales, que faltan? Pues un simple refuerzo de entrenamiento. ¿Para qué se necesita eso?

Tal vez una simple interpolación pueda hacerlo, ya veremos, quería ver si había una ya hecha primero...
¿Por qué? Estoy bastante seguro de que puedo predecir si el modelo funcionará con los nuevos datos si veo el OO del modelo


 
mytarmailS #:
Alexey, ¿existen técnicas para reconstruir la superficie de optimización?
Se ejecuta un algoritmo de búsqueda de parámetros, éste encuentra algo, y se utilizan los datos del algoritmo de búsqueda para reconstruir la superficie de optimización...
Estamos hablando de algoritmos heurísticos, no de una búsqueda completa de forma natural...
Lo he buscado en Google, pero no hay resultados.

¿En el espacio de parámetros del modelo? Es una dimensión enorme. Sólo es posible para modelos muy simples con un número reducido de predictores.

No está muy claro cómo se puede construir una superficie en un espacio de enorme dimensionalidad. Simplemente tenemos muy pocos puntos en comparación con esta dimensionalidad. A no ser que sea por alguna visualización de reducción dimensional como PCA, etc., pero el punto no está claro.

 
Maxim Dmitrievsky #:

Bueno, es una especie de cuestión de selección de modelos, sí, como en la optimización. Usted puede elaborar su propio criterio subjetivo.

No es malo que haya un montón de modelos con parámetros ligeramente diferentes, es decir, que permitan la variación, pero que todos pasen el OOS. Pero esto no es una panacea, por supuesto.

Anteriormente has tenido una idea sobre la combinación de métricas estándar y personalizadas, que he entendido de la siguiente manera: los modelos se entrenan utilizando las estándar, mientras que la selección se realiza utilizando las personalizadas.