В этой статье я бы хотел рассказать о том, как именно работает метод анализа главных компонент (PCA – principal component analysis) с точки зрения интуиции, стоящей за ее математическим аппаратом. Максимально просто, но подробно. Математика вообще очень красивая и изящная наука, но порой ее красота скрывается за кучей слоев абстракции...
PCA成分分析か何かの話ですか？ここに掲載した例をすべて覚えているわけではありません :)
PCAの話なら、どうせ屑に甘い汁は吸えないんだから。かなり良い予測因子と悪い予測因子が混在していないと、PCAでは良いものから悪いものをふるいにかけることができます。
自分の経験による好結果を過小評価している。グレイルはありません。しかし、オーバートレーニングのような悪に対抗するための包括的なツールがあります。
オーバートレーニングに決定的な影響を与えるのは、そのようなゴミを選別することなのです。そして、この最初のステップで、PCAが非常に役に立ちます。このステップの後，ターゲット変数に関連する予測変数は残り，すべてのファンタジーは消滅する．しかし、このステップの重要性を過信してはいけない、これが最初の一歩なのです。その後に必要なのは、次のステップです。
そして、rfaを使った実験は非常に有用であることがわかります。
PS.
なお、モデルそのものを扱うことは、あえて伏せてあります。
自分の経験による好結果を過小評価している。グレイルはありません。オーバートレーニングの惨劇に対抗するための包括的なツールがあるのです。
その第一歩は、「ゴミを捨てる」ことです。そして、この最初のステップで、PCAが非常に役に立ちます。このステップの後，ターゲット変数に関連する予測変数は残り，すべてのファンタジーは消滅する．しかし、このステップの重要性を過信してはいけない、これが最初の一歩なのです。その後に必要なのは、次のステップです。
そして、rfaを使った実験は非常に有用であることがわかります。
PS.
なお、モデル自身との作業については、あえて伏せてあります。
自分の経験による好結果を過小評価している。グレイルはありません。オーバートレーニングの惨劇に対抗するための包括的なツールがあるのです。
その第一歩は、「ゴミを捨てる」ことです。そして、この最初のステップで、PCAが非常に役に立ちます。このステップの後，ターゲット変数に関連する予測変数は残り，すべてのファンタジーは消滅する．しかし、このステップの重要性を過信してはいけない、これが最初の一歩なのです。その後に必要なのは、次のステップです。
そして、rfaを使った実験は非常に有用であることがわかります。
PS.
なお、モデル自身との作業については、あえて伏せてあります。
すべてのバーでモデルの再トレーニングを行う......。1本のバーがモデル全体に影響を与えるということでしょうか。トレーニングにおける一本一本のバーの重要性から、リトレーニングに対する果てしない葛藤が明らかに...。
今、私が挑戦しているモデルは......そう、新しいバーのたびに勉強しているんです。正直なところ、大きなインパクトはありませんが...。時には何十本も続けて、モデルが以前のままであることもある（モデルのオーバーフィッティングを防ぐ仕組み）。しかし、もしどこかの銀行家がニュースで何か間違ったことを言い、価格がどこかに行ってしまったとしても、数小節のうちにすべての最近の変化にモデルが追いつくという希望がある。すべてのバーにモデルを当てはめるのはあまり意味がありませんが、変化に素早く対応できる方法があるのなら、それを使わないのはもったいないことです。
PCAについて詳しく教えてください。そのようにゴミをなくすにはどうしたらいいのでしょうか？
約100ページ前、このトピックでSannychさんが「主成分分析」の記事へのリンクを貼ってくださいました。それを使って何かコードを作り、ここにも入力しました。何ページも読まないと見つからない。
この記事も良かったのですが、RもMQLもなく、Excelだけが載っています。しかし、機能の原理をより明確に説明することができます。http://www.chemometrics.ru/materials/textbooks/pca.htm
PCAについてもう少し詳しく教えてください。そんな中で、どうやってゴミをふるいにかけるのですか？
主成分法の 仕組みをご覧ください。
しかし、この方法が一部のアプリケーション・タスクでうまくいかない理由を説明するdarkAlert 氏の興味深いコメントもあります。引用します。
"PCA（他の古典的な多変量データ解析法と同様）は線形依存性しか調べないことを 忘れています..."
トレーディングに適用する場合、入力に供給される指標やオシリの値などの予測特性は本質的に非線形であるため、この方法は適していない。
^GSPCはhttp://finance.yahoo.com、信頼できると思います。
UNRATE, PAYEMS, GDP は FRED (おそらく https://fred.stlouisfed.org/) から取得したものです。
後、eurusdの1時間足を使いたい。
*誰かが何かをこすった、それはすべてのそれらの政府のインデックスが時々再計算して、歴史的な値を変更することに対する答えでした。
できるけど言わないよ))
有意義性はデスペクトの重さから算出されます。それだけです。使うか使わないか、
次元縮小が必要かどうか、赤ちゃんを水と一緒に捨てることにならないか、
アビスや前処理に適用...もうひとつお聞きしたいのですが
前処理をもっとシンプルに、一部データを削除してやっているのは良くないと思うのですが......。各信号を削除せずにTCに供給する必要があるため。そこには、出力変数を入力に近づけるという、ひとつのアイデアがある。そんな、ある意味フィッティングの要素 :-)BUT
出力変数がTCの利益量によって制御されていることを考慮すれば、このパラメータを変更すれば、いずれにせよ、入力データの品質を知ることができる。HM...説明しよう出力変数の選択には哲学がある 簡単な例では、2つの信号がある。
青の利得は1pipです。私の設定条件では、50pips以上のシグナルを1つでマークするように書かれています。この青いものは、相場が上昇する傾向があっても0と表示され、この青いシグナルは1と表示される可能性があります。このように、利益パラメータを調整することで、出力セットに追加的なものを含めたり、除外したりして、最大限の汎化能力を得ることができるのです......。スプレッドマイナス100pipsの範囲内で行うことができます。ブルートフォース方式だととんでもなく時間がかかるので、10刻みでも最低10回は走る はずなんですが......。とにかく、疑問は残ります。
PCAについて詳しく教えてください。このようにゴミをふるい落とすにはどうしたらいいのでしょうか？
このスレッドでリンクを探すのが面倒なだけでなく、その必要もない。
もしよろしければ、このスレッドを閲覧してください。PCAでは、そのようにゴミをふるいにかけるのではなく、ニュアンスがあるんです。だから、探すことに意味があるんです。
今、私が挑戦しているモデルは......そう、新しいバーのたびに勉強しているんです。正直なところ、大きなインパクトはありませんが...。時には数十本のバーが連続しても、モデルは以前と変わらない（モデルのオーバーフィッティングを防ぐ仕組み）。しかし、もしどこかの銀行家がニュースで何か間違ったことを言い、価格がどこかに行ってしまったとしても、数小節のうちにすべての最近の変化にモデルが追いつくという希望がある。すべてのバーにモデルを当てはめる意味はないが、変化に素早く対応できる方法があれば、それを使おう。
私はこれまで、「少しの誤差でモデルの再トレーニングをせずに使えるツールはない」という、当たり前のことを繰り返し訴えてきました。
明らかなゴミを取り除き、スケーリングをし、Voh-Sohを使い、予測因子を選び、モデルを選び......といった具合に、粒を揃えていくのですが、結局、ターゲットがまったくの不発に終わり、すべてを捨てなければならない......。
私の実務では、各ステップで文字通り3～5％のマイナスの誤差が発生します。また、最初は40％以上の誤差を与えていたモデルを再トレーニングすると、未トレーニングのモデルをなんとか20％まで持っていくことができました。約半年間の作業。
よし、ここにMQLの専門家はいるのか？せっかくなので :-)
一方の変数が0になるように、もう一方の変数を最適化する方法を教えてください。あるいは少なくともゼロに近い・・・。
一般に、ある変数を別の変数に基づいて最適化することは......。