Оценка качества классификационных моделей — сложная и трудоемкая задача. Сперва аналитик оценивает робастность классификационной модели с помощью таких средств, как AIC-BIC, площадь под ROC-кривой, критерий согласия Колмогорова-Смирнова и др. Следующим логическим шагом является оценка точности модели. Чтобы понять, почему эта задача является...
В задачах машинного обучения для оценки качества моделей и сравнения различных алгоритмов используются метрики, а их выбор и анализ — непременная часть работы датасатаниста. В этой статье мы рассмотрим некоторые критерии качества в задачах классификации, обсудим, что является важным при выборе метрики и что может пойти не так. Метрики в...
で、私が言いたいのはこれです。手始めに、問題を真空中にセットします。 メートルで。
テスターでトロールとかで動かすなら。
ターゲティングのデータを.csvで提供し（このバイナリ分類があるそうです）、モデルを学習してターゲティングを予測します。その結果をモデルの応答リストとして同じテスターにロードして実行します。しかし、それをモデルごとに行うのはフィッティングの別の変形であり、指標やターゲットを考えた方が良い。そして、テスターでは最後の variant のみを実行する必要があります。
また、リアルタイム性は別に面倒だし、すべてのモデルをDLLでラップできるわけでもない
私は全モデルがMTで巻かれていて、よくわからないのですが、それを実感しています。
そして、この指標を選びました。ちなみに、オプティマイザーでMathewsの 指標に変更しましたが、特異度や感度の指標とは異なり放物線を描いて推定されるのが特徴です。しかし、最適化アルゴリズムが出来ていれば、メトリクスの問題は...で解決するのは理解できるのですが。
どんなモデルもすべて公式です。もし、ブラックボックスを使用していて、そこからクソを引き出せないなら、あなたの問題です。
テスターってなんだよ、アホか。ミーシャがどんな人物か、どんな魅力的な旅が待っているのか、あなたは知らない
お先にどうぞ))
そして、最も重要なのは収益性...。
私はDLLや各種バンドルの支持者ではありませんが...。私はピュアなMKULがそのままの形で好きです :-)
それだけです。どんなモデルも計算式です。もし、クソも出ないブラックボックスを使用しているなら、あなたの問題です。
テスターってなんだよ、アホか...。ミーシャがどんな人物か、そしてどんな魅力的な旅が待ち受けているのか、あなたは知らない。
お先にどうぞ))
ほら、トレーニング後のPSVファイルから、結果がバランスカーブの形になるようにデータをトレードできるでしょ？
どんなモデルもすべて計算式です。もしあなたがブラックボックスを使用していて、そこからクソを取り出すことができないなら、あなたの問題です。
テスターってなんだよ、アホか...。ミーシャがどんな人物か、どんな魅力的な旅が待っているのか、あなたは知らない
お先にどうぞ))
最近の多かれ少なかれ生産的なMLリブはすべてブラックボックスである)
多かれ少なかれ生産性のあるMLリブはすべてブラックボックスになった)
そうなんです、だから結果の評価方法が前面に出てくるんです。私たちが話しているのと同じメトリックは十分にメトリックは、バックプロパゲーション法は、ブラックボックスを行います得られた結果を推定する場合、最古の方法は、猛烈にオーバートレーニングですが、学習過程で超ド級のメトリックで結果を推定する場合は、このメトリックは、最適化アルゴリズムに停止と言わないまで、最適化することができます。
リシェロバのオプティマイザーには、真剣に計画を立てて、素晴らしい仕事をしてきました。その超ド級の測定基準に加え、このために私はすでにいくつかのアイデアを持っています....
そうなんです、だからこそ、得られた結果の評価方法が前面に出てくるんです。私たちが話しているのと同じメトリックは十分に結果を評価する場合、ブラックボックスのために、エラーの逆伝播の方法は、最も古い方法は、猛烈にオーバートレーニングされていますが、もし学習過程で超ド級のメトリックで結果を評価するために、あなたはこのメトリックが最適化アルゴリズムに停止と言わないまで、最適化することができます。
リシェロバのオプティマイザーには、真剣に計画を立てて、素晴らしい仕事をしてきました。非常に超ド級のメトリクスに追加して、このために私はすでにいくつかのアイデアを持っている......
この指標は、モデルが再学習を開始する瞬間を捉えることができます。
+ また、独自のメトリクスを作成すると、開発環境や使用するライブラリに制約が生じます(すべてのライブラリが非標準のメトリクスをサポートするわけではありません)。
本当に必要なものに合うように、ターゲットを考えた方がいい。また、MLにおける標準的な評価指標で評価することができます。
https://habr.com/company/ods/blog/328372/
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-1-IVuAc
pythonやrやprで数行で終わる（スプレッドが大きい、スリッページがある...）。
本物と変わらないって、もう何度も言ってるじゃん))))なぜ必要なのか
Equiははっきりしない、良いモデルがない、これからもない...。そして、あなたが何をしようとしているのか、その人に伝えてください。
(例: 長年のデータがないなど))) 。
まあ、その...また、どの機種を使うかを決める際にも、このカーブを利用しています。もし、90%の確率で利益を上げながら、肝心なところで大きく負けてしまうようなモデルでは意味がありません。バランスカーブの種類は重要です。もちろん、それだけでは十分ではありませんが、それでもある程度の目安にはなると思います。
トレーニングに必要なデータ量は？
なお、ここでどのような指標を考えても、ほとんどのMLライブラリの最適化機能は変わりません。 この指標は、モデルが再学習を開始する瞬間をとらえることができるだけです。
+ また、独自のメトリクスを作成すると、開発環境や使用するライブラリに制約が生じます(すべてのライブラリが非標準のメトリクスをサポートするわけではありません)。
本当に必要なものに合うように、ターゲットを考えた方がいい。また、MLにおける標準的な評価指標で評価することができます。
https://habr.com/company/ods/blog/328372/
https://ru.coursera.org/lecture/vvedenie-mashinnoe-obuchenie/mietriki-kachiestva-klassifikatsii-1-IVuAc
Thax...もう大丈夫です。新入り...見慣れない顔だなあ）
私のターゲティングは大丈夫です、心配しないでください、オプティマイザはJavaで書かれています。まさか、思い通りの複雑な指標を実装することは不可能なのでしょうか？をお願いします...
Thax...もう大丈夫です。新入り...見慣れない顔だなあ）
ターゲティングは大丈夫です、気にしないでください。 オプティマイザはJavaで書かれています。まさか、思い通りの複雑な指標を実装することは不可能なのでしょうか？をお願いします...
オプティマイザーが開発されて10年目のことだった。
幸せな人は時計を見ない