От имени команды Uber AI Labs, которая также включает Joel Lehman, Jay Chen, Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such и Xingwen Zhang. В области обучения глубоких нейронных сетей (DNN) с большим количеством слоев и миллионами соединений, для тренировки, как правило, применяется стохастический градиентный спуск (SGD). Многие...
Многие материалы по нейронным сетям сразу начинаются с демонстрации довольно сложных архитектур. При этом самые базовые вещи, касающиеся функций активаций, инициализации весов, выбора количества слоёв в сети и т.д. если и рассматриваются, то вскользь. Получается начинающему практику нейронных сетей приходится брать типовые конфигурации и...
オーバーフィット - 重みが大きい場合(~10^18)、多重共線性の結果として発生し、不安定なモデルA(x, w)につながる。
過剰学習に対しては、モデル学習の早期停止、重みの増加の制限（L1（Lasso）およびL2正則化）、ネットワーク内のタイの制限（Dropout）、またペナルティ関数（ElacticNet、Lasso）の適用が可能である。
そして、L1正則化は、その重み係数をゼロにすることで、特徴の選択につながる。
ノイズの多い」特徴を除去することが特徴の選択である。そのための方法があるのです。これは必ずしもモデルに利益をもたらさないので、L2正則化が使われることもあります（多重共線性の問題を解決するのに役立ちます）。
SanSanych Fomenko さん、機能とターゲットの関係というのは、ちょっとおこがましいですね。なぜなら、まだ証明されていないことをどうやって断定するのか、そのためにMOモデルは作られているのですから。構築され動作するモデルは、「まあまあ」の精度でどのような関係にあるかをある程度推定してくれます。
また、 ズボンとスカートの 例では、居住地、時期、居住地の緯度・経度などの貴重な特徴を捨ててしまうので、研究者の調査対象地域に関する知識の乏しさを示しています。
私の例は、退化したケース、純粋な思考、間違いのない分類です。経済学ではそのような特徴はありませんが、遺伝学では、100％とは言わないまでも、少しは可能性があると思います。
さて、レギュラー化についてです。
間違いなく。
しかし、一貫性は重要です。
まず、常に、ターゲットとの「関係」に基づいた形質の選択。株式市場であれば、経済的な関係に基づいて。
これは常に最初に、そして次に他のすべてです。
rfで動作するTSを持っています。数百の属性の中から27の予測因子を "relation "で選んでいます。そして、すべてのバー（H1）で標準的なアルゴリズムで27から選択し、5から15が残り、それらは常に異なっています。木の本数を制限しています、100本では多い、50本では誤差が安定しない。
これは具体的な経験です。ZZの分類誤差は30％弱です。減らす方法はない - 他の予測変数が必要であり、予測変数にアイデアがない。
入力のために一度に多くのパラメータを持つのですから、それなら意味は明確です。
その場合、ここでは再教育はやや二の次になり、それが私の目を引いたのでしょう。計算を「楽にする」という方が近いですね。
入力のためのパラメータが一度にたくさんあるので、言いたいことは明確です。
その場合、オーバーフィッティングはここではやや二の次で、それが私の目を引いたのでしょう。計算の "緩和 "に近い。
なぜ二次なのか？
プライマリーとは何ですか？
オーバーフィッティングほど怖いものはないでしょう？
なぜ二次なのか？
プライマリーとは何ですか？
オーバートレーニング（オーバーフィット）ほど怖いものはないでしょう？
だから、問題提起の中で、オーバートレーニングは二の次だと言っているのです。
正しくご指摘いただきましたが、「パラメータの選定は再教育の二の次であり、そこからさらに詳しく検討する価値がある」と申し上げるべきでした。
https://habrahabr.ru/post/345950/
学習サンプルの限界を超えた単純なNSは、むしろうまく機能しないことがわかった（超正接定数になる）...回帰の場合、つまり、RFよりあまり良くない。
かいがんぶつ
https://habrahabr.ru/post/322438/
学習サンプルの限界を超えた単純なNSは、むしろうまく機能しないことがわかった（超正接定数になる）...回帰の場合、つまり、RFよりあまり良くない。
かいがんぶつ
https://habrahabr.ru/post/322438/
ご自由にお読みください。
https://habrahabr.ru/post/345950/
しかし、私には、時代遅れのアイデアを積み重ねたものにしか見えず、悲しいかな、この分野の生みの親であるジェフリー・ヒントンですら、カプセル型ニューラルネットワークに関する記事の中で、最近このことについて触れているのですから、トップテクノロジーとしての深層学習の危機をまた確認することになります。
Uber Taxiに敬意を表しますが...))
斬新さを装うことなく、実用的なセンスの良さを感じさせる記事で、参考になりました。
だからこそ混乱しやすいのですが、例えば線形や回帰を使っていて何も問題なかったのに、同じタスクでMLPに切り替えようと思ったとします...まさか :)
だからみんな分類を使いたがるんです。予知には回帰がいいんですけどね......。）
トレンドの場合は線形か回帰、フラットな場合はMLPが適しているとさえ言えるでしょう。
ガーチを使った演習では、驚くべきパターンが生まれました。
以下はEURCADの商です。
そして、絶対増分の自己相関は以下の通りです。
驚きの規則性!
1.どういう意味ですか？
2.この規則性はどのように活用できるのでしょうか？
PS.
すべての通貨ペアでこのような見解があるわけではありません。
こちらはUSDJPY