Aprendizaje automático en el trading: teoría, práctica, operaciones y más - página 1980

 
Valeriy Yastremskiy:
¿Cómo se organiza la memoria?

depende de dónde

si lo entiendes, espero una explicación :)

http://peterbloem.nl/blog/transformers

Transformers from scratch
  • peterbloem.nl
I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. Self-attention The fundamental operation of any transformer architecture is the self-attention...
 

Hola a todos, no he colgado el vídeo directamente en el hilo del foro sino que lo he colgado en mi blog. ADVERTENCIA lenguaje no normativo para aquellos que están realmente interesados en el mercado...

https://www.mql5.com/ru/blogs/post/739164

Говорим и показываем о рынке
Говорим и показываем о рынке
  • www.mql5.com
Оказывается пьяным меня смотреть ещё интересней. ВНИМАНИЕ в видео используется не нормативная лексика так что уберите детей от экрана телевизора. Ну и говорим собственно о рынке
 
Mihail Marchukajtes:

Hola a todos, no he colgado el vídeo directamente en el hilo del foro sino que lo he colgado en mi blog. ADVERTENCIA lenguaje no normativo para aquellos que están realmente interesados en el mercado...

https://www.mql5.com/ru/blogs/post/739164

¡¡¡¡¡También hay una referencia directa a ti, Maxim!!!!!
 
Maxim Dmitrievsky:

Sólo he vagado por el bosque antes, no he usado el HH-ki.....

Yo tampoco... Por eso hablo de un diagrama de bloques, para que al menos a nivel de imágenes se entienda cómo funciona

 
mytarmailS:

Sí, yo también... Por eso hablo del diagrama de bloques, para que al menos a nivel de imágenes se entienda cómo funcionan las cosas

Pasé dos días tratando de averiguar qué es una capa de cohonen

y resulta que es sólo un autocodificador primitivo

Vladimir escribió sobre ellos en artículos
 
Maxim Dmitrievsky:

depende de dónde

si lo entiendes, estoy deseando explicarlo :)

http://peterbloem.nl/blog/transformers

Lo que no puedo crear no lo entiendo, es lo que decía Feynman.

La multiplicación es mejor que la suma, se tiene en cuenta el signo. Generalmente los trabajos de digamos argumento y resultado es algo) una sola función contable.

Las consultas, las claves y los valores no entienden muy bien cómo se organizan.

La principal diferencia es el procesamiento pseudoparalelo y el acceso a los datos entrenados y al producto escalar de los vectores de resultados de entrada y salida, llamado autoconocimiento. Y luego la matriz de estos productos escalares se utiliza en el entrenamiento. Y no son pesas.

No he podido encontrar ninguna información sobre la memoria larga en el artículo.

En general, se crean matrices adicionales que corrigen el resultado.

No pretendo entenderlo correctamente ))))

 
Valeriy Yastremskiy:

Lo que no puedo crear, no lo entiendo, es lo que decía Feynman.

La multiplicación es mejor que la suma, se tiene en cuenta el signo. Generalmente los trabajos de digamos argumento y resultado es algo) una sola función contable.

Las consultas, las claves y los valores no entienden muy bien cómo se organizan.

La principal diferencia es el procesamiento pseudoparalelo y el acceso a los datos entrenados y al producto escalar de los vectores de resultados de entrada y salida, llamado autoconocimiento. Y luego la matriz de estos productos escalares se utiliza en el entrenamiento. Y no son pesas.

No he podido encontrar ninguna información sobre la memoria larga en el artículo.

En general, se crean matrices adicionales que corrigen el resultado.

No pretendo entenderlo correctamente))))

es otro algoritmo (como el más fresco ahora), no hay definición de memoria larga y corta en él como en lstm.

lo importante es ver cómo funciona una célula lstm

 
Maxim Dmitrievsky:

Me he pasado dos días intentando averiguar qué es una capa de cohonen (VQ)

y resulta que sólo es un autocodificador primitivo.

Vladimir escribió sobre ellos en artículos

Vladimir escribió específicamente sobre VQ ? o sólo ?

¿Y la memoria? ¿Cómo funciona allí? ¿Es fijo o se ejecuta en una ventana (como el indicador), es estático o se reajusta?

Me pregunto si es posible hacer lo mismo con los andamios.

tengo un millón de preguntas)))

 
Maxim Dmitrievsky:

este es un algoritmo diferente (como el más fresco ahora), no hay definición de memoria larga y corta como en lstm, creo

lo de largo y corto es solo para ver como funciona una celda lstm

Ahh. Bueno, entonces hay conciencia de sí mismo y el recurso en tiempos como se entiende. En general, el escalado de la arquitectura de red simplemente mejora su rendimiento hasta cierto límite. Aquí entiendo la complicación de una red por combinaciones de varias lógicas y luego escalarla)). Y en consecuencia

El cuello de botella en el aprendizaje del transformador es la matriz de productos escalares de la autoconciencia. Para la longitud de la secuencia t , es una matriz densa que contiene t elementos al cuadrado . Con una precisión estándar de 32 bits y con t= 1000 , un lote de 16 matrices de este tipo ocupa unos 250 MB de memoria. Como necesitamos al menos cuatro de ellas (antes y después del softmax, más sus gradientes) para una sola operación de autoimagen, esto nos limita a un máximo de doce capas en una GPU estándar y rompe 12 GB.

 
Maxim Dmitrievsky:

tendrás que investigar y pensar mucho antes de entender...

puede que tengas que comprar vitaminas para el cerebro, beber menos)

Todavía no lo he descubierto). Pero no es tan difícil como parece.

Así que volvemos al diagrama de flujo de siempre, hay que inventarlo primero para tener una comprensión a nivel de imagen...

como -

primero el clasificador(hace esto y aquello)

entonces conectamos el clasificador a la salida (hace esto y aquello)

entonces cuenta algo ( hace esto y aquello )

la salida se conecta de nuevo al casterizador

etc...


Si lees directamente noticias complicadas en las que ni siquiera conoces los términos, ¿qué obtendrás?

Hay que entender el principio básico del algoritmo, sobre todo a nivel de esquema de bloques, como he señalado. Entonces entenderás qué es y qué es lo que hay, y cuando lo entiendas, entenderás qué y cómo puedes mejorar.