記事「ニューラルネットワークが簡単に(第37回):スパースアテンション(Sparse Attention)」についてのディスカッション

 

新しい記事「ニューラルネットワークが簡単に(第37回):スパースアテンション(Sparse Attention)」はパブリッシュされました:

前回は、アテンションメカニズムをアーキテクチャーに用いたリレーショナルモデルについて説明しました。これらのモデルの特徴の1つは、コンピューティングリソースを集中的に利用することです。今回は、セルフアテンションブロック内部の演算回数を減らす仕組みの1つについて考えてみたいと思います。これにより、モデルの一般的なパフォーマンスが向上します。

2023年3月のEURUSDH1履歴データを使用して、モデルを訓練し、EAをテストしました。学習プロセスにおいて、EAはテスト期間中に利益を示しましたが、しかし、利益が得られたのは、平均的な利益取引の規模が平均的な損失取引の規模よりも大きかったからです。勝ちポジションと負けポジションの数はほぼ同じでした。その結果、プロフィットファクターは1.12、リカバリーファクターは1.01となりました。

テストグラフ

テスト結果表

作者: Dmitriy Gizlyk