Interaction are the funny interesting part of ecology, the most fun during data analysis is when you try to understand and to derive explanations from the estimated coefficients of your model. However you do need to know what is behind these estimate, there is a mathematical foundation between them that you need to be aware of before being able...
データマイニングの本を手に取ると、相関のある予測因子を除去する手順が必ず記述されています。
相互作用する予測因子は必ずしも相関があるとは限らない...。ターゲットで対話する...。
そして、相互作用の有無が種の結果を生む。
> summary(lm(data = train_sample_list[[1]], price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16))
Call:
lm(formula = price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16,
data = train_sample_list[[1]])
Residuals:
Min 1Q Median 3Q Max
-0.035970 -0.000824 0.000001 0.000847 0.027278
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3.883e-05 3.146e-05 1.234 0.21714
price_diff_lag_11 4.828e-02 9.092e-03 5.310 1.12e-07 ***
price_diff_min_lag_16 -3.055e-02 1.141e-02 -2.678 0.00743 **
price_diff_lag_11:price_diff_min_lag_16 -3.520e+00 3.515e-01 -10.014 < 2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.0024 on 10465 degrees of freedom
Multiple R-squared: 0.01611, Adjusted R-squared: 0.01583
F-statistic: 57.11 on 3 and 10465 DF, p-value: < 2.2e-16
すべての予測因子（およびその交互作用）は有意である。F統計ってすごいな...。
相互作用する予測因子は必ずしも相関がない...ターゲットで対話する...。
そして、相互作用の有無が種の結果をもたらすのです。
> summary(lm(data = train_sample_list[[1]], price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16))
Call:
lm(formula = price_future_lag_diff_6 ~ price_diff_lag_11 * price_diff_min_lag_16,
data = train_sample_list[[1]])
Residuals:
Min 1Q Median 3Q Max
-0.035970 -0.000824 0.000001 0.000847 0.027278
Coefficients:
Estimate Std. Error t value Pr(>|t|)
(Intercept) 3.883e-05 3.146e-05 1.234 0.21714
price_diff_lag_11 4.828e-02 9.092e-03 5.310 1.12e-07 ***
price_diff_min_lag_16 -3.055e-02 1.141e-02 -2.678 0.00743 **
price_diff_lag_11:price_diff_min_lag_16 -3.520e+00 3.515e-01 -10.014 < 2e-16 ***
---
Signif. codes: 0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
Residual standard error: 0.0024 on 10465 degrees of freedom
Multiple R-squared: 0.01611, Adjusted R-squared: 0.01583
F-statistic: 57.11 on 3 and 10465 DF, p-value: < 2.2e-16
すべての予測因子（およびその交互作用）は有意である。F統計ってすごいな...。
ヴィザード_。
データがない...
データがない、なら議論することもない。
休め...お前！
あなたのネットワークが適切に構成されていないことを9 y.y.であなたに言った人、そしてポリアナリストと数式を引っ張ることができます）））））少なくとも、バカにしないでユール、。
気取りや秘密はなく、標準的なdmのツールを使い、時には細かい編集もします。紹介にしか興味がない人は聞いてください。
が、現実はちょっと違う...。前回の実験は、実データを用いたものでした。簡単な人工的なデータでやってみた。第1セットは絶対的に認められた
を正しく表示します。追加したところ............。答えは100％のはずですが、jPrediction 11はとてもシャークな "ii "なので、なんとか諦めることができます)))要するに、ファインチューニングをする。
デバイスはまだ動かない。データは渡さない、見せびらかしてる、自分で考えろ...。バージョン20は、今日のような「広告」になるのなら、また見てみようかな)))
まあ、私が「インタラクション」という言葉の意味を勘違いしていただけかもしれませんが。
線形モデルにおける交互作用の扱いには明確なルールがある。これらは線形結合処理より少し複雑です：https://www.r-bloggers.com/interpreting-interaction-coefficient-in-r-part1-lm/
しかし、意味のあるインタラクションを見つけるには、たくさんの組み合わせを掘り起こす必要があります。今のは恥ずかしかったな。
複数の最適化を行うと、常に異なる結果が得られることをご存知でしょうか。最適化です、いつも同じ結果が出るならいいのですが、あまりにもおかしいので、何度か最適化をしてみてください、きっと10回中8回は100％が出ます。 つまり、こういうことです......。
訓練前の一般的なサンプルは、あるパターンは訓練用に、あるパターンはテスト用にと、ランダムに分割されていることにも気づいていないのだ。また、このような内訳では、パターンを明らかにするために必要なパターンがテスト部分に混在しており、トレーニング部分には表現されていないことが判明することも十分にあり得る。また、アルゴリズムは学習部分のみを学習し、テスト部分の中身を知るテレパシー能力がないため、汎化能力を計算する際にエラーが発生します。つまり、驚くようなことは何も起こらないのです。
しかし、パターンを特定すべきものが、サンプルの異なる部分に均等に 分布していることが判明した場合、上記の場合よりも高い学習能力を発揮する。
つまり、ケースバイケースの効果があり、どんなランダム性も遅かれ早かれ望ましくない面を見せる可能性があるのです。
一般的なサンプルをランダムではなく、決定論的に分割する方法が見つかる可能性は十分にあるのではないでしょうか？しかし、これまでの経験から、サンプル分割の決定論はすべてフィッティングに陥り、その後に過学習が起こることが分かっている。
一般的なサンプルをランダムではなく、決定論的な方法で分割する方法を見つけることは可能かもしれませんね？しかし、これまでの経験から、サンプルの分割を決定論で行うと、フィッティングやその後の再トレーニングに支障をきたすことが分かっています。
何度かトレーニングを行い、その都度ランダムにサンプルを分割する必要があるのでは？そして、この準備された学習済みモデルのセットから、モデルを選択し、一般的にモデルが良いかどうかを評価することができます。
これはjPredictionにすでに実装されています。つまり、複数の異なるサンプル分割が異なるCPUコアで並行して計算されます（2つのバイナリ分類器は空きコアあたり1テラリです）。プロセッサーは100％負荷がかかっていることが判明。問題は、CPUのコア数が限られているため、パターンの不均等分布の確率を下げることはできても、それを最小化することは非常に困難であることです。PCではなく、スーパーコンピュータでパターンを学習させれば別ですが。
例えば、中国のスーパーコンピュータ「天河2号」でパターン計算をする場合、312万コアを搭載 しています。サンプルの一部にパターンが偏在する確率は無視できないだろう。4コアのスタッフ（さらに他のタスクのために数コア確保）でパターン計算をすれば、遅かれ早かれイレギュラーな事態に遭遇しても不思議ではありません。
これはjPredictionにすでに実装されています。つまり、複数の異なるサンプル分割が異なるCPUコアで並行して計算されます（2つのバイナリ分類器は空きコアあたり1テラリです）。プロセッサーは100％負荷がかかっていることが判明。問題は、CPUのコア数が限られているため、パターン分布が不均一になる確率を下げることはできても、それを最小化することは非常に困難であるということです。PCではなく、スーパーコンピュータでパターンを訓練するのであれば話は別ですが。
例えば、中国のスーパーコンピュータ「天河2号」でパターン計算をする場合、312万コアを搭載 しています。サンプルの一部にパターンが偏在する確率は無視できないだろう。4コアのスタッフでパターン計算をすれば（2コアは他のタスクのために確保）、遅かれ早かれイレギュラーに遭遇するのは当然のことです。
つまり、便利なものなんです。だから、4つのパーティションでは明らかに足りない代わりに、40のパーティションを作る必要があります。4コアの場合、カウントに10倍の時間がかかりますが、堅牢性を優先して時間を犠牲にすることもできるのでしょう。
"できることなら、役に立つことなら、やるべきだ "と。(c) Papo Carlo Albertovich.