有关 MQL5 编程和自动交易使用的文章

自从第一篇专门讨论强化学习的文章以来，我们以某种方式触及了 2 个问题：探索环境和检定奖励函数。最近的文章曾专门讨论了离线学习中的探索问题。在本文中，我想向您介绍一种算法，其作者完全剔除了奖励函数。

在上一篇文章中，我们实现了软性扮演者-评论者算法，但未能训练出一个可盈利的模型。在此，我们将优化先前创建的模型，以期获得所需的结果。

在之前的文章中，我们讨论了决策转换器方法，以及从其衍生的若干种算法。我们测验了不同的目标设定方法。在测验期间，我们依据各种设定目标的方式进行操作。然而，该模型早期研究时验算过的轨迹，始终处于我们的关注范围之外。在这篇文章中。我想向您介绍一种填补此空白的方法。

“K-均值”聚类采用数据点分组的方式，该过程最初侧重于数据集的宏观视图，使用随机生成的聚类质心，然后放大并调整这些质心，从而准确表示数据集。我们将对此进行研究，并开拓一些它的用例。

我们已经不止一次地讨论过正确选择奖励函数的重要性，我们通过为单独动作添加奖励或惩罚来刺激代理者的预期行为。但是关于由代理者解密我们的信号的问题仍旧悬而未决。在本文中，我们将探讨将单独信号传输至已训练代理者时的奖励分解。

最近两篇文章专门介绍了决策转换器方法，其在期望奖励的自回归模型境况下针对动作序列进行建模。在本文中，我们将研究该方法的另一种优化算法。

如果我们想从机器学习这些先进技术中获得任何价值，那么很难解释和理解为什么我们的模型偏离我们的期望至关重要。如果对模型内部工作原理的没有全面了解，我们可能无法发现破坏模型性能的错误，我们可能会在无法预测的参照特征上浪费时间，从长远来看，我们有可能没有充分利用这些模型的功能。幸运的是，有一个复杂且维护良好的多合一解决方案，令我们能够准确地看到我们的模型在引擎盖下正在做什么。

本系列文章介绍了几种时间序列标记方法，这些方法可以创建符合大多数人工智能模型的数据，而根据需要进行有针对性的数据标记可以使训练后的人工智能模型更符合预期设计，提高我们模型的准确性，甚至帮助模型实现质的飞跃！

在上一篇文章中，我们概述了 DDPG 方法，它允许在连续动作空间中训练模型。然而，与其它 Q-学习方法一样，DDPG 容易高估 Q-函数的数值。这个问题往往会造成训练代理者时选择次优策略。在本文中，我们将研究一些克服上述问题的方式。

本文中的多币种 EA 是智能交易系统或交易机器人，能从一个品种的图表里交易（开单、平单、及管理订单，例如：尾随止损和止盈）多个品种（货币对）。这次我们只会用到 1 个指标，即多时间帧或单一时间帧中的三角移动平均线。

有一些方法可以用来解决许多重复性的问题。一旦明白如何运用这些方法，就可助您有效地创建软件，并贯彻 DRY（不要重复自己）的概念。在这种境况下，设计范式的主题就非常好用，因为它们为恰当描述过，且重复的问题提供了解决方案。

最后两篇文章研究了软性扮演者-评论者算法，该算法将熵正则化整合到奖励函数当中。这种方式在环境探索和模型开发之间取得平衡，但它仅适用于随机模型。本文提出了一种替代方式，能适用于随机模型和确定性模型两者。

我们继续讨论解决连续动作空间问题的强化学习算法。在本文中，我将讲演软性扮演者-评论者（SAC）算法。SAC 的主要优点是拥有查找最佳策略的能力，不仅令预期回报最大化，而且拥有最大化的动作熵（多样性）。

若干交易员同事发送电子邮件或评论了如何基于经纪商提供的名称里带有前缀和/或后缀的品种使用此多币种 EA，以及如何在该多币种 EA 上实现交易时区或交易时段。

在本文中，我们将领略一种算法，其使用封闭式政策改进运算器来优化离线模式下的智能体动作。

强化学习中的环境研究是一个紧迫的问题。我们之前已视察过一些方式。在本文中，我们将讲述另一种基于最大化核范数的方法。它允许智能体识别拥有高度新颖性和多样性的环境状态。

我们将分析什么是定量分析，以及主要参与者如何运用定量分析的问题。我们将用 MQL5 语言创建一种定量分析算法。

在本文中，我们将见识到如何制定一个品质得分，并由您的智能系统从策略测试器返回。 我们将查看两种著名的计算方法 — Van Tharp 和 Sunny Harris。

在上一篇文章中，我们领略了决策变换器。但是，外汇市场复杂的随机环境不允许我们充分发挥所提议方法的潜能。在本文中，我将讲述一种算法，旨在提高在随机环境中的性能。

在此，我将研究相当新颖的随机边际扮演者-评论者（SMAC）算法，该算法允许在熵值最大化的框架内构建潜在变量政策。

在本文中，我们将终结有关设计范式主题的系列文章，我们提到有三种类型的设计范式：创建型、结构型、和行为型。我们将终结行为类型的其余范式，其可以帮助设置对象之间的交互方法，令我们的代码更整洁。

在改进了C_Mouse类之后，我们可以专注于创建一个类，该类旨在为我们的分析创建一个全新的框架。我们不会使用继承或多态性来创建这个新类。相反，我们将改变，或者更好地说，在价格线中添加新的对象。这就是我们在这篇文章中要做的。在下一节中，我们将研究如何更改分析。所有这些都将在不更改C_Mouse类的代码的情况下完成。实际上，使用继承或多态性会更容易实现这一点。然而，还有其他方法可以达到同样的结果。

在我们的最新文章中揭开 MQL5 编程的秘密！深入了解结构、类和时间函数的基本要素，为您的编码之旅赋能。无论您是初学者还是经验丰富的开发人员，我们的指南都简化了复杂的概念，为掌握 MQL5 提供了宝贵的见解。提升你的编程技能，在算法交易领域保持领先！

在开始开发多币种 EA 后，我们已经取得了一些成果，并成功地进行了多次代码改进迭代。但是，我们的 EA 无法处理挂单，也无法在终端重启后恢复运行。让我们添加这些功能。

本文提出了使用机器学习创建 EA 交易的方法。

在离线学习中，我们使用固定的数据集，这限制了环境多样性的覆盖范围。在学习过程中，我们的 Agent 能生成超出该数据集之外的动作。如果没有来自环境的反馈，我们如何判定针对该动作的估测是正确的？在训练数据集中维护 Agent 的政策成为确保训练可靠性的一个重要方面。这就是我们将在本文中讨论的内容。

在第 5 部分中探索 MQL5 数组的世界，该部分专为绝对初学者设计。本文简化了复杂的编码概念，重点在于清晰性和包容性。加入我们的学习者社区，在这里解决问题，分享知识！

数字墙（Number Walls）是线性回移寄存器的一种变体，其通过检查收敛性来预筛选序列来达到可预测性。我们看看这些思路如何运用在 MQL5。