Discussão do artigo "Teoria das Categorias em MQL5 (Parte 20): autoatenção e transformador"
Você está perdendo oportunidades de negociação:
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Registro
Login
Você concorda com a política do site e com os termos de uso
Se você não tem uma conta, por favor registre-se
Novo artigo Teoria das Categorias em MQL5 (Parte 20): autoatenção e transformador foi publicado:
Vamos nos afastar um pouco de nossos tópicos mais comuns e analisar uma parte do algoritmo do ChatGPT. Ele possui algumas semelhanças ou conceitos emprestados das transformações naturais? Vamos tentar responder a essas e outras perguntas usando nosso código no formato de classe de sinal.
Acho que seria imprudente continuar a série de artigos sobre teoria das categorias e transformações naturais sem tocar no ChatGPT. Até o momento, de uma forma ou de outra, todos estão familiarizados com o ChatGPT e muitas outras plataformas de inteligência artificial e, espero, reconheceram o quanto as redes neurais baseadas em transformadores facilitam nossas pesquisas e economizam tempo que antes era gasto em tarefas rotineiras. Por isso, neste artigo, me desviarei dos meus temas habituais e tentarei responder à pergunta: as transformações naturais da teoria das categorias são de alguma forma fundamentais para os algoritmos baseados em transformadores generativos pré-treinados (Generative Pretrained Transformer, GPT) usados pela OpenAI?
Além de procurar sinônimos para o conceito de "transformação" (transformation), acho que também seria interessante olhar para os elementos do código do algoritmo GPT em MQL5 e testá-los durante a classificação prévia de séries de preços de instrumentos financeiros.
O transformador, apresentado no artigo "Tudo que você precisa é autoatenção" (versão em russo), representava uma novidade em redes neurais usadas para tradução de fala (por exemplo, do italiano para o francês). Ele oferecia uma maneira de eliminar a recorrência e as convoluções. De que maneira? Por meio da autoatenção (Self-Attention). Muitas das atuais plataformas de inteligência artificial são desenvolvimentos das ideias apresentadas no artigo.
O algoritmo real usado pela OpenAI, claro, é mantido em segredo, mas, ainda assim, acredita-se que ele utilize representação vetorial de palavras, codificação posicional, autoatenção e rede neural com propagação progressiva, como parte da pilha do decode-only transformer. Nada disso é confirmado, então não acredite cegamente em mim. Para esclarecer, tudo isso se refere à parte do algoritmo relacionada à tradução de palavras/idiomas. De fato, dado que a maior parte dos dados de entrada no ChatGPT é texto, ele desempenha um papel chave no algoritmo, mas o ChatGPT não se limita apenas a trabalhar com texto. Por exemplo, se carregarmos um arquivo Excel, ele pode não apenas abrir para ler seu conteúdo, mas também criar gráficos e até fazer análises estatísticas baseadas nos dados apresentados. O algoritmo do ChatGPT aqui não é totalmente revelado. Vemos apenas fragmentos do que ele poderia ser.
Autor: Stephen Njuki