Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1980

 
Valeriy Yastremskiy:
Como é organizada a memória?

depende de onde

se você entender, estou à espera de uma explicação :)

http://peterbloem.nl/blog/transformers

Transformers from scratch
  • peterbloem.nl
I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. Self-attention The fundamental operation of any transformer architecture is the self-attention...
 

Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...

https://www.mql5.com/ru/blogs/post/739164

Говорим и показываем о рынке
Говорим и показываем о рынке
  • www.mql5.com
Оказывается пьяным меня смотреть ещё интересней. ВНИМАНИЕ в видео используется не нормативная лексика так что уберите детей от экрана телевизора. Ну и говорим собственно о рынке
 
Mihail Marchukajtes:

Olá a todos, eu não postei o vídeo diretamente no tópico do fórum, mas postei no meu blog. AVISO de linguagem não-normativa para aqueles que estão realmente interessados no mercado...

https://www.mql5.com/ru/blogs/post/739164

Há também uma referência directa a si, Maxim!!!!!
 
Maxim Dmitrievsky:

Só vaguei pela floresta antes, nunca usei a HH-ki.....

Nem eu... Portanto, estou a falar de um diagrama de blocos, para que pelo menos ao nível das imagens se compreenda como funciona.

 
mytarmailS:

Sim, eu também... É por isso que estou a falar do diagrama de blocos, para que pelo menos ao nível das imagens para entender como as coisas funcionam.

Passei dois dias a tentar perceber o que é uma camada coesa.

e acontece que é apenas um autocodificador primitivo.

Vladimir escreveu sobre eles em artigos
 
Maxim Dmitrievsky:

depende de onde

se você entender, estou ansioso para explicá-lo :)

http://peterbloem.nl/blog/transformers

O que eu não posso criar não entendo, foi o que Feynman disse.

A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.

Consultas, chaves e valores não entendem bem como estão organizados.

A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.

Não consegui encontrar nenhuma informação sobre memória longa no artigo.

Em geral, são criadas matrizes adicionais que corrigem o resultado.

Não pretendo entendê-lo corretamente ))))

 
Valeriy Yastremskiy:

O que eu não posso criar, não entendo, foi o que Feynman disse.

A multiplicação é melhor do que a adição, o sinal é levado em conta. Geralmente o trabalho de dizer argumento e resultado é algo) uma única função de contabilidade.

Consultas, chaves e valores não entendem bem como estão organizados.

A principal diferença é o processamento pseudo-paralelo e o acesso aos dados treinados e ao produto escalar dos vetores de entrada e saída de resultados chamados autoconsciência. E depois a matriz destes produtos escalares é usada no treino. E não são os pesos.

Não consegui encontrar nenhuma informação sobre memória longa no artigo.

Em geral, são criadas matrizes adicionais que corrigem o resultado.

Eu não pretendo entender corretamente))))

é outro algoritmo (como o mais legal agora), não há nenhuma definição de memória longa e curta como na lstm.

o longo e o curto é apenas para ver como funciona uma célula da lstm

 
Maxim Dmitrievsky:

Eu passei dois dias tentando descobrir o que é uma camada de coesão (VQ)

e acontece que é apenas um autocodificador primitivo.

Vladimir escreveu sobre eles em artigos

Vladimir escreveu especificamente sobre a VQ ? ou apenas ?

E a memória? Como é que funciona lá? É fixo ou funciona numa janela (como um indicador), estático ou está a ser reeducado?

Será que é possível fazer o mesmo com andaimes?

tenho um milhão de perguntas))))

 
Maxim Dmitrievsky:

este é um algoritmo diferente (como o mais legal agora), não há definição de memória longa e curta como em lstm, eu acho

sobre longo e curto é só para ver como funciona uma célula da lstm

Ahh. Bem, então há auto-consciência e recursos em tempos como os entendidos. Em geral, o dimensionamento da arquitetura de rede simplesmente melhora o seu desempenho até certo limite. Aqui eu entendo a complicação de uma rede através de combinações de várias lógicas e depois escaloná-la))). E consequentemente

O gargalo na aprendizagem do transformador é a matriz dos produtos escalares de auto-consciencialização. Para o comprimento da sequência t , é uma matriz densa contendo t elementos quadrados . Na precisão padrão de 32 bits e com t= 1000 um lote de 16 dessas matrizes leva cerca de 250MB de memória. Como precisamos de pelo menos quatro deles (antes e depois do softmax, mais seus gradientes) para uma única operação de auto-imagem, isso nos limita a um máximo de doze camadas em uma GPU padrão e BREAKS 12 GB.

 
Maxim Dmitrievsky:

terá que fazer muita pesquisa e pensar antes de entender...

você pode ter que comprar vitaminas do cérebro, beber menos)

Eu ainda não descobri). Mas não é tão difícil como parece.

Por isso voltamos ao fluxograma habitual, tens de o inventar primeiro para teres uma compreensão do nível de imagem...

como -

primeiro o classificador(ele faz isto e aquilo)

então conectamos o classificador à saída (ele faz isto e aquilo)

então conte algo ( faz isto e aquilo )

A saída está novamente ligada ao rodízio

etc...


Se você ler diretamente as notícias complicadas onde você nem sabe os termos, o que você vai conseguir?

Você tem que entender o princípio básico do algoritmo, especialmente no nível do esquema de blocos, como eu salientei. Então você vai entender o que é o quê e o que é o quê, e quando você entender, você vai entender o quê e como você pode melhorá-lo.