![Redes neurais de maneira fácil (Parte 52): exploração com otimização e correção de distribuição](https://c.mql5.com/2/57/optimistic-actor-critic_600x314.jpg)
Redes neurais de maneira fácil (Parte 52): exploração com otimização e correção de distribuição
À medida que a política do Ator se afasta cada vez mais dos exemplos armazenados no buffer de reprodução de experiências, a eficácia do treinamento do modelo, baseado nesse buffer, diminui. Neste artigo, examinamos um algoritmo que aumenta a eficácia do uso de amostras em algoritmos de aprendizado por reforço.
![Teoria das Categorias em MQL5 (Parte 15): Funtores com grafos](https://c.mql5.com/2/57/Category-Theory-p15_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 15): Funtores com grafos
Este artigo continua a série sobre a implementação da teoria de categorias no MQL5, ele aborda os funtores como uma ponte entre grafos e conjuntos. Nesse escopo, voltaremos a analisar os dados de calendário e, apesar de suas limitações no uso do testador de estratégias, justificaremos o uso de funtores na previsão de volatilidade mediante correlação.
![Desenvolvendo um agente de Aprendizado por Reforço em MQL5 com Integração RestAPI (Parte 3): Criando jogadas automáticas e Scripts de Teste em MQL5](https://c.mql5.com/2/61/RestAPI_Parte_3_-_Criando_jogadas_automyticas_e_Scripts_de_Teste_em_MQL5_600x314.jpg)
Desenvolvendo um agente de Aprendizado por Reforço em MQL5 com Integração RestAPI (Parte 3): Criando jogadas automáticas e Scripts de Teste em MQL5
Este artigo explora a implementação de jogadas automáticas no jogo da velha Python, integrado com funções MQL5 e testes unitários. O objetivo é aprimorar a interatividade do jogo e garantir a robustez do sistema através de testes MQL5. Ele aborda desde o desenvolvimento da lógica de jogo até a integração e testes práticos, culminando na criação de um ambiente de jogo dinâmico e um sistema integrado confiável.
![Redes neurais de maneira fácil (Parte 51): ator-crítico comportamental (BAC)](https://c.mql5.com/2/57/behavior_driven_actor_critic_600x314.jpg)
Redes neurais de maneira fácil (Parte 51): ator-crítico comportamental (BAC)
Nos últimos dois artigos, discutimos o algoritmo Soft Actor-Critic, que incorpora regularização de entropia na função de recompensa. Essa abordagem permite equilibrar a exploração do ambiente e a exploração do modelo, mas é aplicável apenas a modelos estocásticos. Neste artigo, exploraremos uma abordagem alternativa que é aplicável tanto a modelos estocásticos quanto determinísticos.
![Teoria das Categorias em MQL5 (Parte 14): funtores com ordem linear](https://c.mql5.com/2/57/Category-Theory-p14_600x314__1.jpg)
Teoria das Categorias em MQL5 (Parte 14): funtores com ordem linear
Este artigo, parte de uma série de artigos sobre a implementação da teoria das categorias no MQL5, é dedicado aos funtores. Vamos explorar como a ordem linear pode ser mapeada em um conjunto de dados através dos funtores ao analisar dois conjuntos de dados que, à primeira vista, parecem não ter nenhuma conexão entre si.
![Redes neurais de maneira fácil (Parte 50): Soft Actor-Critic (otimização do modelo)](https://c.mql5.com/2/57/NN_50_Soft_Actor-Critic_600x314.jpg)
Redes neurais de maneira fácil (Parte 50): Soft Actor-Critic (otimização do modelo)
No artigo anterior, implementamos o algoritmo Soft Actor-Critic, mas não conseguimos treinar um modelo lucrativo. Neste artigo, vamos realizar a otimização do modelo previamente criado para obter os resultados desejados a nível de seu funcionamento.
![Teoria das Categorias em MQL5 (Parte 13): Eventos de calendário com esquemas de banco de dados](https://c.mql5.com/2/56/Category-Theory-p13_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 13): Eventos de calendário com esquemas de banco de dados
Neste artigo, discutimos como os esquemas de banco de dados podem ser incorporados para categorização em MQL5. Analisaremos brevemente como os conceitos de esquema de banco de dados podem ser combinados com a teoria da categoria na identificação de informações de texto (string) relevantes para a negociação. O foco será em eventos de calendário.
![Redes neurais de maneira fácil (Parte 49): Soft Actor-Critic (SAC)](https://c.mql5.com/2/56/Neural_Networks_are_Easy_Part_49_600x314.jpg)
Redes neurais de maneira fácil (Parte 49): Soft Actor-Critic (SAC)
Continuamos nossa exploração dos algoritmos de aprendizado por reforço na resolução de problemas em espaços de ação contínua. Neste artigo, apresento o algoritmo Soft Actor-Critic (SAC). A principal vantagem do SAC está em sua capacidade de encontrar políticas ótimas que não apenas maximizam a recompensa esperada, mas também têm a máxima entropia (diversidade) de ações.
![Desenvolvendo um agente de Aprendizado por Reforço em MQL5 com Integração RestAPI(Parte 1): Usando RestAPIs em MQL5](https://c.mql5.com/2/59/REST_600x314.jpg)
Desenvolvendo um agente de Aprendizado por Reforço em MQL5 com Integração RestAPI(Parte 1): Usando RestAPIs em MQL5
Este artigo aborda a importância das APIs (Interfaces de Programação de Aplicativos) na comunicação entre diferentes aplicativos e sistemas de software. Ele destaca o papel das APIs na simplificação da interação entre aplicativos, permitindo que eles compartilhem dados e funcionalidades de maneira eficiente.
![Redes neurais de maneira fácil (Parte 48): métodos para reduzir a superestimação dos valores da função Q](https://c.mql5.com/2/56/NN_part_48_600x314.jpg)
Redes neurais de maneira fácil (Parte 48): métodos para reduzir a superestimação dos valores da função Q
No artigo anterior, nós exploramos o método DDPG, projetado para treinar modelos em espaços de ação contínua. No entanto, como outros métodos de aprendizado Q, ele está sujeito ao problema da sobreavaliação dos valores da função Q. Esse problema geralmente leva eventualmente ao treinamento de um agente com uma estratégia não otimizada. Neste artigo, examinaremos algumas abordagens para superar o problema mencionado.
![Teoria das Categorias em MQL5 (Parte 12): Ordem](https://c.mql5.com/2/56/Category-Theory-p12_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 12): Ordem
Este artigo faz parte de uma série sobre a implementação de grafos usando a teoria das categorias no MQL5 e é dedicado à teoria da ordem (Order Theory). Consideraremos dois tipos básicos de ordenação e exploraremos como os conceitos de relação de ordem podem auxiliar os conjuntos monoidais na tomada de decisões de negociação.
![Redes neurais de maneira fácil (Parte 47): Espaço contínuo de ações](https://c.mql5.com/2/55/Neural_Networks_Part_47_600x314.jpg)
Redes neurais de maneira fácil (Parte 47): Espaço contínuo de ações
Neste artigo, estamos ampliando o escopo das tarefas do nosso agente. No processo de treinamento, incluiremos alguns aspectos de gerenciamento de dinheiro e risco, que são partes integrantes de qualquer estratégia de negociação.
![Redes neurais de maneira fácil (Parte 46): Aprendizado por reforço condicionado a metas (GCRL)](https://c.mql5.com/2/55/Neural_Networks_Part_46_600x314.jpg)
Redes neurais de maneira fácil (Parte 46): Aprendizado por reforço condicionado a metas (GCRL)
Convido você a conhecer mais uma abordagem no campo do aprendizado por reforço. É chamada de aprendizado por reforço condicionado a metas, conhecida pela sigla GCRL (Goal-conditioned reinforcement learning). Nessa abordagem, o agente é treinado para alcançar diferentes metas em cenários específicos.
![Avaliando modelos ONNX usando métricas de regressão](https://c.mql5.com/2/55/onnx_regression_metrics_600x314__1.jpg)
Avaliando modelos ONNX usando métricas de regressão
A regressão é uma tarefa de prever um valor real a partir de um exemplo não rotulado. Para avaliar a precisão das previsões de modelos de regressão, são utilizadas as chamadas métricas de regressão.
![Redes neurais de maneira fácil (Parte 45): Ensinando habilidades para investigar estados](https://c.mql5.com/2/55/Neural_Networks_Part_45_600x314.jpg)
Redes neurais de maneira fácil (Parte 45): Ensinando habilidades para investigar estados
Aprender habilidades úteis sem uma função de recompensa explícita é um dos principais desafios do aprendizado por reforço hierárquico. Anteriormente, já nos familiarizamos com dois algoritmos para resolver esse problema. Mas a questão da completa exploração do ambiente ainda está em aberto. Neste artigo, é apresentada uma abordagem diferente para o treinamento de habilidades, cujo uso depende diretamente do estado atual do sistema.
![Redes neurais de maneira fácil (Parte 44): Explorando habilidades de forma dinâmica](https://c.mql5.com/2/55/Neural_Networks_are_Just_a_Part_600x314.jpg)
Redes neurais de maneira fácil (Parte 44): Explorando habilidades de forma dinâmica
No artigo anterior, apresentamos o método DIAYN, que oferece um algoritmo para aprender uma variedade de habilidades. O uso das habilidades adquiridas pode ser usado para diversas tarefas. Mas essas habilidades podem ser bastante imprevisíveis, o que pode dificultar seu uso. Neste artigo, veremos um algoritmo para ensinar habilidades previsíveis.
![Integrando modelos de ML ao Testador de Estratégias (Conclusão): Implementação de um Modelo de Regressão para Previsão de Preço](https://c.mql5.com/2/58/implementation_regression_model_600x314.jpg)
Integrando modelos de ML ao Testador de Estratégias (Conclusão): Implementação de um Modelo de Regressão para Previsão de Preço
Este artigo descreve a implementação de um modelo de regressão de árvores de decisão para prever preços de ativos financeiros. Foram realizadas etapas de preparação dos dados, treinamento e avaliação do modelo, com ajustes e otimizações. No entanto, é importante destacar que o modelo é apenas um estudo e não deve ser usado em negociações reais.
![Teoria das Categorias (Parte 9): Ações dos monoides](https://c.mql5.com/2/55/Category-Theory-p9_600x314.jpg)
Teoria das Categorias (Parte 9): Ações dos monoides
Esse artigo é a continuação da série sobre a implementação da teoria das categorias em MQL5. Nele são discutidas as ações de monoides como um meio de transformar os monoides descritos no artigo anterior para aumentar suas aplicações.
![Representações no domínio da frequência de séries temporais: O espectro de potência](https://c.mql5.com/2/54/power_spectrumn_600x314.jpg)
Representações no domínio da frequência de séries temporais: O espectro de potência
Neste artigo, analisaremos os métodos relacionados à análise de séries temporais no domínio da frequência. Ele também se concentrará na utilidade do estudo de funções espectrais de séries temporais na criação de modelos preditivos. Além disso, discutimos algumas perspectivas promissoras para a análise de séries temporais no domínio da frequência usando a transformada discreta de Fourier (DFT).
![Redes neurais de maneira fácil (Parte 43): Dominando habilidades sem função de recompensa](https://c.mql5.com/2/54/NN_Simple_Part_43_600x314.jpg)
Redes neurais de maneira fácil (Parte 43): Dominando habilidades sem função de recompensa
O problema com o aprendizado por reforço é a necessidade de definir uma função de recompensa, que pode ser complexa ou difícil de formular, porém abordagens baseadas no tipo de ação e na exploração do ambiente que permitem que as habilidades sejam aprendidas sem uma função de recompensa explícita estão sendo exploradas para resolver esse problema.
![Redes neurais de maneira fácil (Parte 42): Procrastinação do modelo, causas e métodos de resolução](https://c.mql5.com/2/54/NN_Simple_Part_42_procrastination_600x314.jpg)
Redes neurais de maneira fácil (Parte 42): Procrastinação do modelo, causas e métodos de resolução
A procrastinação de modelos no contexto do aprendizado por reforço pode ser causada por vários motivos, e a solução desse problema requer medidas apropriadas. Este artigo discute algumas das possíveis causas da procrastinação do modelo e métodos para superá-las.
![Redes neurais de maneira fácil (Parte 41): Modelos Hierárquicos](https://c.mql5.com/2/54/NN_Simple_Part_41_Hierarchical_Models_600x314.jpg)
Redes neurais de maneira fácil (Parte 41): Modelos Hierárquicos
Este artigo descreve modelos hierárquicos de aprendizado que propõem uma abordagem eficaz para resolver tarefas complexas de aprendizado de máquina. Os modelos hierárquicos consistem em vários níveis, cada um responsável por aspectos diferentes da tarefa.
![Redes neurais de maneira fácil (Parte 40): Abordagens para usar Go-Explore em uma grande quantidade de dados](https://c.mql5.com/2/54/neural_networks_go_explore_040_600x314.jpg)
Redes neurais de maneira fácil (Parte 40): Abordagens para usar Go-Explore em uma grande quantidade de dados
Neste artigo, discutiremos a aplicação do algoritmo Go-Explore ao longo de um período de treinamento prolongado, uma vez que uma estratégia de seleção aleatória de ações pode não levar a uma passagem lucrativa à medida que o tempo de treinamento aumenta.
![Redes neurais de maneira fácil (Parte 39): Go-Explore - uma abordagem diferente para exploração](https://c.mql5.com/2/54/NN_39_Go_Explore_600x314.jpg)
Redes neurais de maneira fácil (Parte 39): Go-Explore - uma abordagem diferente para exploração
Continuamos com o tema da exploração do ambiente no aprendizado por reforço. Neste artigo, abordaremos mais um algoritmo, o Go-Explore, que permite explorar eficazmente o ambiente durante a fase de treinamento do modelo.
![Experimentos com redes neurais (Parte 6): O perceptron como uma ferramenta de previsão de preços autossuficiente](https://c.mql5.com/2/54/perceptron_600x314.jpg)
Experimentos com redes neurais (Parte 6): O perceptron como uma ferramenta de previsão de preços autossuficiente
Veja um exemplo do uso do perceptron como um meio autossuficiente de previsão de preços. Esse artigo aborda conceitos gerais, apresenta um Expert Advisor simples e pronto para uso e os resultados de sua otimização.
![Matrizes e vetores em MQL5: funções de ativação](https://c.mql5.com/2/54/matrix_vector_600x314.jpg)
Matrizes e vetores em MQL5: funções de ativação
Neste artigo, descrevemos apenas um aspecto do aprendizado de máquina, em particular as funções de ativação. Em redes neurais artificiais, a função de ativação de neurônio calcula o valor de um sinal de saída com base nos valores de um sinal de entrada ou de um conjunto de sinais de entrada. Vamos mergulhar nos detalhes internos do processo.
![Encapsulando modelos ONNX em classes](https://c.mql5.com/2/54/ONNX_Models_in_the_Class_600x314.jpg)
Encapsulando modelos ONNX em classes
A programação orientada a objetos permite criar códigos mais compactos, fáceis de ler e modificar. Apresentamos um exemplo para três modelos ONNX.
![Ciência de Dados e Aprendizado de Máquina (Parte 14): aplicando mapas de Kohonen nos mercados](https://c.mql5.com/2/52/data_science_ml_kohonen_maps_014_600x314.jpg)
Ciência de Dados e Aprendizado de Máquina (Parte 14): aplicando mapas de Kohonen nos mercados
Deseja descobrir uma nova metodologia de negociação que facilite a orientação em mercados complexos e voláteis? Explore os mapas de Kohonen - uma versão inovadora de redes neurais artificiais, capazes de identificar regularidades e tendências ocultas nos dados do mercado. Neste texto, analisaremos a funcionalidade dos mapas de Kohonen e a forma de utilizá-los na elaboração de estratégias de negociação eficazes. Estou convencido de que esta abordagem inédita será do interesse de traders novatos e experientes.
![Redes neurais de maneira fácil (Parte 38): Exploração auto-supervisionada via desacordo (Self-Supervised Exploration via Disagreement)](https://c.mql5.com/2/54/self_supervised_exploration_via_disagreement_038_600x314.jpg)
Redes neurais de maneira fácil (Parte 38): Exploração auto-supervisionada via desacordo (Self-Supervised Exploration via Disagreement)
Um dos principais desafios do aprendizado por reforço é a exploração do ambiente. Anteriormente, já nos iniciamos no método de exploração baseado na curiosidade interna. E hoje proponho considerar outro algoritmo, o de exploração por desacordo.
![Experimentos com redes neurais (Parte 5): Normalização de parâmetros de entrada para alimentar a rede neural](https://c.mql5.com/2/53/neural_network_experiments-p5_600x314.jpg)
Experimentos com redes neurais (Parte 5): Normalização de parâmetros de entrada para alimentar a rede neural
As redes neurais são tudo para nós. E vamos verificar na prática se é assim, indagando se MetaTrader 5 é uma ferramenta autossuficiente para implementar redes neurais na negociação. A explicação vai ser simples.
![Teoria das Categorias em MQL5 (Parte 6): produtos fibrados monomórficos e coprodutos fibrados epimórficos](https://c.mql5.com/2/53/Category-Theory-p6_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 6): produtos fibrados monomórficos e coprodutos fibrados epimórficos
A teoria das categorias é um ramo diversificado e em expansão da matemática que só recentemente começou a ser abordado na comunidade MQL5. Esta série de artigos tem como objetivo analisar alguns de seus conceitos para criar uma biblioteca aberta e utilizar ainda mais essa maravilhosa seção na criação de estratégias de negociação.
![Um exemplo de como montar modelos ONNX em MQL5](https://c.mql5.com/2/53/Example_of_ONNX-models_ensemble_in_MQL5_600x314.jpg)
Um exemplo de como montar modelos ONNX em MQL5
O ONNX (Open Neural Network Exchange) é um padrão aberto para a representação de modelos de redes neurais. Neste artigo, mostraremos a possibilidade de usar dois modelos ONNX simultaneamente em um Expert Advisor.
![Redes neurais de maneira fácil (Parte 37): atenção esparsa](https://c.mql5.com/2/53/NN_part_37_Sparse_Attention_600x314.jpg)
Redes neurais de maneira fácil (Parte 37): atenção esparsa
No artigo anterior, abordamos modelos relacionais que usavam mecanismos de atenção. Uma das características desses modelos era o aumento do uso de recursos computacionais. O artigo de hoje apresenta um dos mecanismos para reduzir o número de operações computacionais dentro do bloco Self-Attention, o que aumenta o desempenho geral do modelo.
![Teoria das Categorias em MQL5 (Parte 5): Equalizadores](https://c.mql5.com/2/53/Category-Theory-p5_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 5): Equalizadores
A teoria das categorias é um ramo diversificado e em expansão da matemática que só recentemente começou a ser abordado na comunidade MQL5. Esta série de artigos tem como objetivo analisar alguns de seus conceitos para criar uma biblioteca aberta e utilizar ainda mais essa maravilhosa seção na criação de estratégias de negociação.
![Uso de modelos ONNX em MQL5](https://c.mql5.com/2/52/onnx_models_600x314.jpg)
Uso de modelos ONNX em MQL5
O ONNX (Open Neural Network Exchange) é um padrão aberto para a representação de modelos de redes neurais. Neste artigo, consideraremos o processo de criação do modelo SNN-LSTM para previsão de séries temporais financeiras e o uso do modelo ONNX criado em um Expert Advisor MQL5.
![Algoritmos de otimização populacionais: Algoritmo semelhante ao eletromagnetismo (EM)](https://c.mql5.com/2/52/ElectroMagnetism-like_algorithm_mx_600x314.jpg)
Algoritmos de otimização populacionais: Algoritmo semelhante ao eletromagnetismo (EM)
O artigo descreve os princípios, os métodos e as possibilidades de aplicação do EM a diferentes problemas de otimização. Ele uma ferramenta de otimização eficiente, capaz de lidar com grandes quantidades de dados e funções multidimensionais.
![Teoria das Categorias em MQL5 (Parte 4): Intervalos, experimentos e composições](https://c.mql5.com/2/52/Category-Theory-p4_600x314.jpg)
Teoria das Categorias em MQL5 (Parte 4): Intervalos, experimentos e composições
A teoria das categorias representa um segmento diversificado e em constante expansão da matemática, que até agora está relativamente pouco explorado na comunidade MQL5. Esta série de artigos tem como objetivo descrever alguns de seus conceitos a fim de criar uma biblioteca aberta e utilizar ainda mais essa seção notável na criação de estratégias de negociação.
![Algoritmos de otimização populacionais: Algoritmo de mudas, semeadura e crescimento (SSG)](https://c.mql5.com/2/52/growing-trees_600x314.jpg)
Algoritmos de otimização populacionais: Algoritmo de mudas, semeadura e crescimento (SSG)
O algoritmo de “mudas, semeadura e crescimento” (Saplings Sowing and Growing up, SSG) é inspirado em um dos organismos mais resistentes do planeta, um exemplo notável de sobrevivência em inúmeras condições.
![Ciência de Dados e Aprendizado de Máquina (Parte 13): Analisando o mercado financeiro usando a análise de componentes principais (PCA)](https://c.mql5.com/2/52/pca_600x314.jpg)
Ciência de Dados e Aprendizado de Máquina (Parte 13): Analisando o mercado financeiro usando a análise de componentes principais (PCA)
Vamos tentar melhorar qualitativamente nossa análise dos mercados financeiros usando a análise de componentes principais (PCA). Aprenderemos como essa técnica pode ajudar a identificar padrões ocultos nos dados, identificar tendências de mercado ocultas e otimizar estratégias de investimento. Neste artigo, veremos como o PCA oferece uma nova perspectiva para a análise de dados financeiros complexos, ajudando-nos a ver informações que não percebemos usando abordagens tradicionais. Veremos se sua aplicação aos dados do mercado financeiro proporciona uma vantagem sobre a concorrência e nos ajuda a ficar um passo à frente.
![Redes neurais de maneira fácil (Parte 36): Modelos relacionais de aprendizado por reforço](https://c.mql5.com/2/52/Neural_Networks_Made_036_600x314.jpg)
Redes neurais de maneira fácil (Parte 36): Modelos relacionais de aprendizado por reforço
Nos modelos de aprendizado por reforço discutidos anteriormente, usamos diferentes variantes de redes convolucionais, que são capazes de identificar diferentes corpos nos dados brutos. A principal vantagem das redes convolucionais é sua capacidade de identificar objetos independentemente de sua localização. No entanto, as redes convolucionais nem sempre são capazes de lidar com as diversas deformações e ruídos que os objetos apresentam. Mas esses problemas podem ser resolvidos pelo modelo relacional.