我认为，在范畴论和自然变换的主题上继续写这些系列文章，而不去碰房间里的大象，也就是 chatGPT，那将是失职的。到目前为止，每个人都以某种形式熟悉了chatGPT和许多其他人工智能平台，并见证和欣赏了变换神经网络（transformer neural network）的潜力，它不仅使我们的研究更容易，而且还能从琐碎的任务中抽走急需的时间。因此，我在这些系列中浏览了一圈，试图解决这样一个问题，即范畴论的自然变换是否在某些方面是 Open AI 所采用的生成预训练变换器（Generative Pretrained Transformer，GPT）算法的关键。
新文章 MQL5中的范畴论（第20部分）：自我注意的迂回与转换已发布：
我们暂时离开我们的系列文章，考虑一下 chatGPT 中的部分算法。有没有从自然变换中借鉴的相似之处或概念？我们尝试用信号类格式的代码，在一篇有趣的文章中回答这些和其他问题。
我认为，在范畴论和自然变换的主题上继续写这些系列文章，而不去碰房间里的大象，也就是 chatGPT，那将是失职的。到目前为止，每个人都以某种形式熟悉了chatGPT和许多其他人工智能平台，并见证和欣赏了变换神经网络（transformer neural network）的潜力，它不仅使我们的研究更容易，而且还能从琐碎的任务中抽走急需的时间。因此，我在这些系列中浏览了一圈，试图解决这样一个问题，即范畴论的自然变换是否在某些方面是 Open AI 所采用的生成预训练变换器（Generative Pretrained Transformer，GPT）算法的关键。
除了用“变换”的措辞检查任何同义词外，我认为在MQL5中查看GPT算法代码的部分，并在证券价格系列的初步分类上测试它们也会很有趣。
正如论文中所介绍的，“注意力就是你所需要的一切”是用于跨口语（如意大利语到法语）进行翻译的神经网络的一项创新，它建议消除递归和卷积。它的建议是？自注意力机制（Self-Attention）。据了解，许多正在使用的人工智能平台都是这一早期努力的大脑产物。
Open AI使用的实际算法当然是保密的，但人们仍然认为它使用单词嵌入（Word-Embedding）、位置编码（Positional Encoding）、自注意力机制（Self-Attention）和前馈网络（Feed-Forward network），作为仅解码转换器（decode-only transformer）中堆栈的一部分。这些都没有得到证实，所以你不应该相信我的话。需要明确的是，这个参考是关于单词/语言翻译部分的算法。是的，由于chatGPT中的大多数输入都是文本，它确实在算法中起着关键的、几乎是基础性的作用，但我们现在知道chatGPT所做的远不止解释文本。例如，如果你上传了一个excel文件，它不仅可以打开它来阅读其内容，还可以绘制图表，甚至对所提供的统计数据发表意见。这里的重点是chatGPT算法显然没有在这里完全呈现，但它可能看起来只是被理解的一部分。
作者：Stephen Njuki