記事「MQL5の圏論（第20回）：セルフアテンションとTransformerへの回り道」についてのディスカッション

[MetaQuotes]

新しい記事「MQL5の圏論（第20回）：セルフアテンションとTransformerへの回り道」はパブリッシュされました:

ちょっと寄り道して、chatGPTのアルゴリズムの一部について考えてみたいとおもいます。自然変換から借用した類似点や概念はあるのでしょうか。シグナルクラス形式のコードを用いて、これらの疑問やその他の質問に楽しく答えようと思います。

圏論と自然変換をテーマにしながら、この連載を続け、チャットGPTという「部屋の中の象」に触れないのは、不謹慎なことだと思います。今では誰もが、何らかの形で、chatGPTや他のAIプラットフォームのホストに精通しており、transformerニューラルネットワークが私たちの研究を容易にするだけでなく、単純なタスクから非常に必要な時間を削減する可能性があることを目の当たりにし、できれば理解しているはずです。そこで、この連載から回り道をして、圏論での自然変換が、Open AIが取り組んでいるGPTアルゴリズムにとって何らかの鍵になるのかという疑問に取り組んでみました。

「変換」の文言と同義語がないかチェックすることに加えて、MQL5のGPTアルゴリズムコードの一部を確認し、証券価格系列の予備分類で検証してみるのも面白いと思います。

論文『Attention Is All You Need』で紹介されたTransformerは、話し言葉の翻訳（例えばイタリア語からフランス語）に使われるニューラルネットワークの技術革新で、回帰型ニューラルネットワークと畳み込みニューラルネットワーク を取り除くことを提案しました。その提案とはセルフアテンションです。現在使用されている多くのAIプラットフォームは、この初期の取り組みから生まれたものであることは理解されています。

オープンAIが実際に使用しているアルゴリズムは確かに非公開ですが、単語の埋め込み、位置符号化（英語）、セルフアテンション、Feed-Forwardネットワーク（英語）、Decoder-only Transformerのスタックの一部を使用していることは分かっています。いずれも確証があるわけではないので、私の言葉を鵜呑みにしてはいけません。そしてはっきりさせておきたいのは、この言及はアルゴリズムの単語/言語翻訳部分に関するものだということです。たしかに、chatGPTの入力のほとんどはテキストなので、それはアルゴリズムにおいて重要な、ほとんど基礎的な役割を形成していますが、chatGPTはテキストを解釈する以上のことをすることがわかっています。例えば、エクセルファイルをアップロードすれば、それを開いて内容を読むだけでなく、グラフをプロットしたり、提示された統計について意見を述べたりすることもできます。ここで重要なのは、chatGPT アルゴリズムがここで完全に示されているわけではなく、理解されているものの一部だけであることです。

作者: Stephen Njuki