トレーディングにおける機械学習:理論、モデル、実践、アルゴトレーディング - ページ 2843

 
Aleksey Vyazmikin #:


サンサニッチ・フォメンコ、サンプルは必要ですか?

これは何についてですか?

 
СанСаныч Фоменко #:

なるほど。あなたは機械学習モデルについて表面的な知識を持っている。

チェーンの最初の要素は前処理で、労働力の50%から70%を占める。ここで将来の成功が決まる。

連鎖の2つ目の要素は、一連の訓練でモデルを訓練することである。

連鎖の3番目の要素は、テストセット上での学習済みモデルの実行である。これらのセットでのモデルのパフォーマンスが少なくとも3分の1異なる場合、モデルは再トレーニングされる。頻繁にではないにせよ、たまにあることだ。過剰訓練モデルとは、正確すぎるモデルのことである。すみません、基本的なことです。


私たちは基本について異なる考えを持っているようです。 すみません。 そして、私たちは異なる言語を話すようです。
 
СанСаныч Фоменко #:

どういうことだ?

以前、私はこう書いた。

トレーディング、自動トレーディング・システム、トレーディング戦略のテストに関するフォーラム

トレーディングにおける機械学習:理論、モデル、実践とアルゴ・トレーディング

アレクセイVyazmikin, 2022.12.08:44

サンプルを送ってもらえますか?あなたの選択方法が私の選択方法よりどの程度優れているのか、またあなたのサンプルに合っているのかを比較したいのです。


と返信したのですが、メッセージを消してしまいましたね。

 
Andrey Dik #:


私たちは基本的なことに関して異なる考えを持っているようだ。

私が理解する限り、私は機械学習モデルと、これらのモデルに組み込まれた最適化について議論している。あなたはニューラルネットワークから始めた。

あなたが議論しているのは最適化であり、機械学習とは関係ない。


大域的最適の探求に幸運あれ。

 
СанСаныч Фоменко #:

私が今理解している限りでは、私は機械学習モデルとそのモデルに組み込まれた最適化について議論している。それは、あなたがニューラルネットワークから始めたことです。

あなたが議論しているのは最適化であり、機械学習とは関係ない。


大局的最適を探すのに幸運を祈る。


私は、あなたが過剰に訓練されたモデルで惨めな失敗をしながら探しているような全体最適は必要としていない)))
あなたはモデルを構築し、予測子、シュムディクター、その他のクールなものを作り、モデルを訓練した!
AOのせいではありません、モデルが悪いのです。
あなたのモデルはいつも少し酔っていて、少し訓練されていない。
 
СанСаныч Фоменко #:

最適化とモデルの再トレーニングには否定できない関係がある。モデルは常に "粗い "ままであるべきで、確かに大域的最適値は必要ない。

単純に大域的最適を否定しても、オーバーフィッティングを避けることはできない。オーバーフィッティングとは、モデルを特定のサンプルに適応させすぎて、既存の規則性を損なうことである。これは、ほとんどすべてのMOアルゴリズムが極めて高い柔軟性を持つために起こる。したがって、これに対処する標準的な方法は、最適化基準にモデルの過度の柔軟性に対するペナルティを導入することです(例としてラッソ回帰)。単に規定的な方法でモデルの柔軟性を制限することもできますが、数学的にはより厳しいペナルティに過ぎません。

ところで、これはカスタム基準を作成することが可能であるべき理由の良い例です。

プラトーよりもグローバルな極端さを優先するのは少し違う。それはもはや、既存の不変の依存性を犠牲にして、特定のサンプルにオーバーフィットするという問題ではありません。ここでは、価格の非定常性(あなたが最初に書いたこと)のために依存性が変化するという事実について話しているのです。

すべてを1つの山に混ぜる必要はありません。

サンサニッチ・フォメンコ#:

私が許容できる予測変数のリストを探しているとき、それはトラウザーズの意味での最適化です。しかし、意味は全く異なる。「ゴミを入れ、ゴミを出す」ことを避けようとしているのだ。ここには、大域的最適を見つける「正しい」アルゴリズムを見つけようとすることとは質的な違いがあります。どのような大域的最適値も、ゴミに対して利益をもたらすTSを与えることはない。

ズボンの選択は多基準最適化の一例であり、長さ、サイズ、色、生地、価格、ブランドなどによって選択される。)パレート曲面が構築されていないことは明らかだが、買い手の頭の中では、すべての基準が一つの妥協点に 暗黙のうちに混合されている。機能選択でも同じことが起こる。ズボンとの重要な違いは、常に直感に頼っていると予測不可能な失敗につながるため、ここではトレードオフの最適性基準を明示的に公式化することが有効であるということである。

 

実際、推定基準が正しく選択されていないのである。正しい基準は、機能しているモデルに対して紫色の曲線を与える。問題は、正しい推定基準の最大化(大域的な最大値)に帰着する。

その逆も然りで、もし基準の選択が間違っていれば、そのような間違った基準を最大化すると赤い曲線になる。

これはモデルが機能することを前提としているが、評価基準がいかに重要かがわかる。

しかし、モデルが機能していなければ、基準も最適化も何も役に立たない。

つまり、モデル→評価基準→評価基準の最適化という流れになる。

 
Aleksey Nikolayev #:

ズボンの選択は多基準最適化の例であり、長さ、サイズ、色、生地、価格、ブランドなどで選択される。)パレート曲面が構築されていないことは明らかだが、買い手の頭の中では、すべての基準が一つの妥協点に 暗黙のうちに混ざり合っている。機能選択でも同じことが起こる。ズボンとの重要な違いは、直感に頼り続けると予測不可能な失敗につながるため、ここではトレードオフの最適性基準を明示的に公式化することが有用であるということである。

ズボンの選択は、基準駆動型最適化の良い例です。すべての良いズボンがすべての人に合うわけではありません。ユーザー駆動型最適化は、最適で最もフィットするズボンを提供します(グローバル最大基準)。

ズボン -> ズボンの評価基準 -> 選択(ズボンの評価基準の最適化)

 
Aleksey Nikolayev #:

単純に大域的極値の棄却だけでは、明らかにオーバートレーニング(過剰適合、overfitting)を避けることはできない。過剰適合とは、モデルをこの特定のサンプルに適応させすぎて、既存の規則性を損なうことである。これは、ほとんど全てのMOアルゴリズムが極めて高い柔軟性を持つために起こる。したがって、これに対処する標準的な方法は、最適化基準にモデルの過度の柔軟性に対するペナルティを導入することです(例として、ラッソ回帰)。単に指示的な方法でモデルの柔軟性を制限することも可能ですが、数学的にはより厳しいペナルティに過ぎません。

ところで、これはカスタム基準を作成できるようにすべき理由の良い例です。

プラトーよりもグローバルな極端さを優先するのは少し違う。それはもはや、既存の不変の依存性を犠牲にして特定のサンプルにオーバーフィットするという問題ではありません。ここでは、価格の非定常性(あなたが最初に書いたこと)のために、依存性が変化し、依存性の小さな変化でも十分に良好であり続けるパラメータの安定した(ロバストな)値を探す必要があるという事実について話しています。

すべてを一つの山に混ぜないでください。

ズボンの選択は多基準最適化の一例です。長さ、サイズ、色、生地、価格、ブランドなどで選択されます)パレート曲面が構築されていないことは明らかですが、買い手の頭の中では、すべての基準が一つの妥協点に 暗黙のうちに混合されています。機能選択でも同じことが起こる。ズボンとの重要な違いは、直感に頼り続けると予測不可能な失敗につながるため、ここではトレードオフの最適性基準を明示的に公式化することが有用であるということである。

トピックに関する誰かの投稿を見ることができてうれしい!

 
Andrey Dik #:

実際、推定基準が正しく選択されていないのだ。正しい基準は、作業モデルに対して紫色の曲線を与える。問題は、正しい推定基準を最大化(大域最大化)することに行き着く。

その逆も然りで、もし基準の選択が間違っていれば、そのような間違った基準を最大化すると赤い曲線になる。

そして、これはモデルが機能することを前提としているが、評価基準がいかに重要であるかがわかる。

しかし、もしモデルが機能していなければ、評価基準も最適化も、何の役にも立たない。

つまり、モデル→評価基準→評価基準の最適化という流れになる。


例えば、最終的な残高が同じ10000である2つの結果について、一方では1000の利益取引があり、もう一方では999の不採算取引と1つの利益取引があったとする。積分基準はどちらの場合も同じであるが、その結果が達成された方法は調整的に異なることは明らかである。

このような基準は、積分基準とは異なり、プロセスの中間結果を考慮に入れる。

積分基準は、ある種のシステム(例えば、単位時間当たりのトランザクション数が実質的に一定であるようなシステム)に適用されるため、そうあるべき権利を有する場合もある。

しかし、積分基準も派生基準も、大域的最適値に到達しなければならない。基準の選択は、将来におけるシステムの頑健性を決定する。

もし研究者が、大域的な最大値ではなく、その中間にあるものを探索する必要があるかもしれないという考えを持つならば、この場合、モデルを評価する基準を直ちに再考する必要がある。

理由: