Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 3333

 

sibirqk #:
Они синхронизированы. Я же написал в начале поста - 'выровнял их по датам', что как раз и означает синхронизацию пар по времени.

"Pero por desgracia, imho, es completa aleatoriedad de nuevo. La imagen es un trozo de gráfico para ilustrar".

Tienes razón, no es tan sencillo

 
Forester #:

En el ejemplo hay 2 predictores, es decir, cambiamos la distancia en el espacio de 2 dimensiones (calcular la hipotenusa). Si habrá 5000 signos, entonces se mide la distancia en el espacio de 5000 dimensiones (cómo medir - ver el código de k-means en alglib, es la tarea principal allí - para medir distancias, tomarlo como base).
Se parece a la raíz de la suma de cuadrados de catetos en todos los espacios https://wiki.loginom.ru/articles/euclid-distance.html.

Ahora surge una comprensión - gracias - voy a pensar en ello.

Forester #:

Si realmente lo vas a hacer - no te olvides de ajustar los predictores, para que por ejemplo los volúmenes 1...100000 no se traguen los deltas de precios 0,00001...0,01000 en los cálculos.

Cierto, es necesario normalizar. Sin embargo, ¿qué pasa si no los cuantificamos y calculamos las métricas puramente por índices? :) Y no me gusta la idea de contar por catetos, ya es artificial de por sí.

Aunque lo correcto sería reproducir el algoritmo propuesto y luego pensar en mejorarlo.

Forester #:

¿Cómo detectarlo? Esa es la cuestión. Sobre todo en datos de mercado, donde no habrá una separación tan clara de la zona ruidosa como en el ejemplo. Todo será ruidoso, entre el 90 y el 99%.

Puede que sea más fácil utilizar paquetes ya preparados para eliminar las líneas ruidosas, quizá tengan un detector.....

En realidad, ¿has visto el video? Ahí cerca del final del vídeo dice que se construye el modelo, que justo y detecta a qué zona pertenecen los datos, y si a no acumulativa, según la muestra dada sobre la que se realizó el entrenamiento, se ignora la señal, según tengo entendido. Está claro que tenemos datos mucho peores que los comentados ahí, pero si es un 20%-30% del objetivo "1", ya estaré contento.

Otra opción es entrenar el modelo para detectar esos ejemplos excluidos marcando esas filas en la muestra global.

 
Aleksey Vyazmikin #:

Así es, hay que normalizar. Sin embargo, ¿y si no se cuantifican y la métrica se calcula únicamente por índices? :) Y no me gusta la idea de contar a través de los catéteres: es artificial.

Un chip está cuantificado a 2 cuantos, el otro a 32. No funcionará.

Aleksey Vyazmikin #:

En realidad, ¿has visto el vídeo? Allí cerca del final del vídeo dice que se construye el modelo, que justo y detecta a qué área pertenecen los datos, y si a no acumulativa, según la muestra dada sobre la que se realizó el entrenamiento, entonces se ignora la señal, según tengo entendido. Está claro que tenemos datos mucho peores que los que se comentan ahí, pero si es un 20%-30% del objetivo "1", me daré por contento.

Otra opción es entrenar el modelo para detectar estos ejemplos excluidos marcando esas filas en la muestra global.

No lo he mirado.
Puedes detectar ejemplos excluidos sin todos estos cálculos. Ya te lo he dicho - sólo excluye las hojas con probabilidad de una de las clases alrededor del 50%.

 
Forester #:

Un chip se cuantifica a 2 cuantos, el otro a 32. No sirve de nada.

Nah, será el mismo lugar relativo - número de splitters(divisiones) - fijo para todos.

Forester #:

Puedes detectar ejemplos excluidos sin todos estos cálculos. Ya te lo he dicho - sólo excluir las hojas que tienen alrededor del 50% de probabilidad de una de las clases.

Puede haber muchos métodos diferentes. Estoy interesado en la variante de procesamiento antes de la construcción del modelo - como me parece, que da menos variantes de la construcción de combinaciones, lo que reduce el error en la conclusión final - si el modelo final fue entrenado con éxito o no, en general.
Además, si hablamos del hecho de que usted puede "tirar" algo, usted debe mencionar lo que los modelos que estamos hablando. Si se trata de un bosque, ¿debemos contar el porcentaje de hojas sin "descartar" o contar el número de activaciones de estas hojas cercanas al 50% y no reaccionar a la señal si se supera su umbral?
En el caso del bousting, la cosa es aún más divertida: las hojas inciertas en total pueden desplazar la probabilidad en un sentido u otro. Sigo queriendo hacer un gráfico para mostrar cómo se distribuyen los pesos en función del desplazamiento de la probabilidad, pero lo sigo posponiendo. Durante tres días el ordenador considera la similitud de las hojas modelo - pienso en optimizar el algoritmo - demasiado largo....

 
Forester #:
Si hay 5000 características
Con una dimensionalidad tan grande, los algoritmos métricos como KNN tienen poco sentido. A grandes rasgos, toda la muestra resulta estar casi a la misma distancia de cualquier punto y el resultado vendrá determinado por pequeñas desviaciones aleatorias de las distancias.
 
Aleksey Vyazmikin #:

Bueno, ¿por qué no hay caso - Creo que python no es sólo muy extendida entre los comerciantes, sin embargo, para que la gente se mueve a la discusión activa.
Voy a probar su enfoque más adelante en mi muestra.

¿Has probado el método out-of-the-box de CatBoost?

¿Qué es el método out-of-the-box?
Python es opcional. Tiré mucha literatura.
Bueno, yo también vaticino que todos aquellos que aún no han empezado, algún día serán caprichosos, y entonces llegarán a este tema :) quizás dentro de 10 años, quizás dentro de 100 años

Es como si no hubiera otras opciones, simplemente no las hay. Puede que haya opciones con otras redes neuronales, pero el principio es el mismo: divide y vencerás.
 
Maxim Dmitrievsky #:
Cuál es el método out of the box

Esta es la funcionalidad.

Maxim Dmitrievsky #:
Es como si no hubiera otras opciones, simplemente no existen. Puede haber variantes con otras redes neuronales, pero el principio es el mismo: divide y vencerás.

Hay diferentes formas de dividir/separar los datos y ya se han probado antes en este hilo - no mostraron resultados significativos, así que se "olvidaron".

Existen las redes bayesianas - a primera vista son interesantes sólo por su capacidad para restablecer las relaciones causa-efecto.

 
Aleksey Vyazmikin #:

Aquí está esa funcionalidad.

Hay diferentes formas de dividir/separar datos y ya se han probado en este hilo anteriormente - no mostraron resultados significativos, por lo que fueron "olvidadas".

Hay redes bayesianas - a primera vista son interesantes sólo por su capacidad de restaurar las relaciones causa-efecto.

No, no las he probado. Veré de qué se trata esta noche.
Estos métodos dependen del modelo. Los datos no se separan ni se separan por sí mismos. No sé cómo explicarlo. Lo intenté una vez y volví a tener problemas con los optimizadores. Está en los libros.
Si vas a la izquierda, pierdes un caballo. Si vas a la derecha, pierdes el dragón de dos cabezas.
 
Aleksey Vyazmikin #:

No, será el mismo lugar relativo - el número de divisores (divisiones) - fijo para todos.

Tienes muchos predictores binarios con 0 y 1. No se dividirán en 32. Pero si los normalizas, podrías obtener algo con cuantificación Uniforme. Si cuantificación no uniforme, entonces solo por números todas las distancias serán distorsionadas, necesitas abs valores después de normalización.

Aleksey Vyazmikin #:Puede haber muchos métodos diferentes. Estoy interesado en la variante de procesamiento antes de la construcción del modelo - como me parece, da menos variantes de combinaciones de construcción, lo que reduce el error en la conclusión final - si el modelo final ha sido entrenado con éxito o no, en general.

El error estará en la predicción si no puede deshacerse del ruido como en el entrenamiento.

Aleksey Vyazmikin #:

El desempate es aún más divertido allí - las hojas inciertas en la suma pueden cambiar la probabilidad en una dirección u otra - sigo queriendo hacer un gráfico para mostrar cómo se distribuyen los pesos dependiendo del cambio de probabilidad, pero sigo posponiéndolo. Durante tres días el ordenador considera la similitud de las hojas del modelo - pienso en optimizar el algoritmo - demasiado largo....

No importa si es árbol, bosque o arbusto. Si la predicción del modelo es del 50%, entonces habrá un 50% de 0 y un 50% de 1 en la predicción.

 
Así que el problema está en los dos extremos a la vez. Desde un extremo no conoces tu función objetivo, desde el otro no sabes qué errores de aproximación por un modelo concreto tiene. Necesitas encontrar la f- y los errores. Con sólo una submuestra, a menudo sesgada.

Y puedes hacer todo esto sin pruebas de oos múltiples. Pero no hay inhibiciones dentro de la submuestra.