Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3353

Yeni yorum
 
Maxim Dmitrievsky #:
Toplu düşünme devrede. Bunlar o olasılıklar değildir, olasılığı tahmin etmek için kullanılan loess fi nedeniyle böyle adlandırılırlar.

Gerçek sınıf olasılıkları nasıl elde edilir?

Bunu düşünmenin başka bir yolu yok! Bir dizi ek işlevin eşlik ettiği kullanıma hazır MO algoritmalarını kullanıyoruz. Her şey bir arada "paket" olarak adlandırılır.

"Gerçek sınıf olasılıkları" nedir?Örneğin, fonksiyon 

predict(object, newdata, type = c("vector", "probs", "both","F"))
"olasılıksınıfı tahminleri" döndürür.Algoritmada "tahminler" dışında başka hiçbir olasılık bulunamaz.



 

Kavga etmeyin çocuklar, sizi duyuyoruz.

kilitleri açın ;)


 
СанСаныч Фоменко #:

Başka bir düşünce tarzı yok! Bir dizi ek işlevin eşlik ettiği hazır MO algoritmaları kullanıyoruz. Her şey bir arada "paket" olarak adlandırılır.

"Gerçek sınıf olasılıkları" nedir? Örneğin, fonksiyon

"olasılık sınıfı tahminleri" döndürür.Algoritma "tahminler" dışında başka hiçbir olasılık içeremez.
Soru ne yapabileceği ile ilgili değil. Güvenilir sınıf olasılıklarının nasıl elde edileceği ile ilgilidir. Böylece 0,8'lik bir sınıf olasılığı ile vakaların %80'inin doğru tahmin edildiğinden emin olabilirsiniz. Örneğin bir eşik değeri kullanabilirsiniz. Sınıflandırıcı çıktısı çoğu durumda bunu yapmaz, tekrar ediyorum. "Tasarım gereği" ya fazla tahmin ederler ya da eksik tahmin ederler. Bu yüzden eşik işe yaramıyor. Gerçek olasılıklar, ne fazla ne de az tahmin ettikleri durumlardır.

Bilmediğinizi zaten gösterdiniz. Yani öğrenecek daha çok şey var. Bu yüzden "tüm MOE'lerde ustalaşmamız" ve yığın düşüncesinden kurtulmamız gerekiyor.
 

Görünüşe göre bu, olasılığın nokta tahmini ile ilgili değil, aralık tahmini ile ilgili. Matstat için bu yaygın bir yaklaşımdır - sadece belirli bir sayısal olasılık tahmini elde etmek değil, aynı zamanda bu tahmini olasılığın gerçek değerinin belirli bir doğrulukla (olasılıkla) içine düştüğü bir aralık elde etmek. Burada anlamada biraz zorluk var, çünkü olasılık kavramı iki farklı hipostaza katılır - hem tahmini değerin kendisi hem de tahmininin doğruluğu. Ve bunlar oldukça farklı olasılıklardır)

Konformal tahmini ayrıntılı olarak incelememiş olsam da yanılıyor olabilirim.

 
Maxim Dmitrievsky #:
Soru onun ne yapabileceği ile ilgili değil. Güvenilir sınıf olasılıklarının nasıl elde edileceğiyle ilgili. Böylece 0,8'lik bir sınıf olasılığı ile vakaların %80'inin doğru tahmin edildiğinden emin olabilirsiniz. Örneğin bir eşik kullanabilirsiniz. Sınıflandırıcı çıktısı çoğu durumda bunu yapmaz, tekrar ediyorum. "Tasarım gereği" ya fazla tahmin ederler ya da eksik tahmin ederler. Bu yüzden eşik işe yaramaz. Gerçek olasılıklar, ne fazla ne de az tahmin ettikleri zamanlardır.

Elinizdeki bu değil. 0,8 rakamı sınıf olasılıklarından biri. İşte sınıf olasılıklarının histogramı.


Bende tam olarak böyle ve başka bir şekilde değil, çünkü başka türlü olması aşırı eğitim anlamına gelir. Benim için, sabit bir eşikte, OOV ve OOS ve VNE dosyasındaki tahmin hatasının uyuşmazlığı, aşırı eğitimin ana işaretidir. Eşik değerim gayet iyi çalışıyor. Ve "gerçek olasılıklar", bu durumda kullanılan gerçek kod ve terminoloji ile hiçbir ilgisi olmayan bir kurgu aleminden.

 
СанСаныч Фоменко #:

Yanlışınız var. verilen 0,8 rakamı sınıf olasılık değerlerinden biridir. işte sınıf olasılıklarının histogramı.


Ben tam olarak böyle yapıyorum ve başka türlü yapmıyorum, çünkü eğer farklıysa, bu aşırı eğitim anlamına gelir. Benim için, sabit bir eşikte, OOV ve OOS ve VNE dosyasındaki tahmin hatasının uyumsuzluğu, aşırı eğitimin ana işaretidir. Eşik değerim gayet iyi çalışıyor. Ve "gerçek olasılıklar", gerçek dünya kodu ve bunun için kullanılan terminoloji ile hiçbir ilgisi olmayan bir kurgu aleminden.

Eşiğinizin mükemmel çalıştığını nasıl fark ettiniz?
Sizin için bu bir fantezi, bir başkası içinse sıradan bir şey.
 
Aleksey Nikolayev #:

Görünüşe göre bu, olasılığın nokta tahmini ile ilgili değil, aralık tahmini ile ilgili. Matstat için bu yaygın bir yaklaşımdır - sadece belirli bir sayısal olasılık tahmini elde etmek değil, aynı zamanda bu tahmini olasılığın gerçek değerinin belirli bir doğrulukla (olasılıkla) içine düştüğü bir aralık elde etmek. Burada anlamada biraz zorluk var, çünkü olasılık kavramı iki farklı hipostaza katılır - hem tahmini değerin kendisi hem de tahmininin doğruluğu. Ve bunlar oldukça farklı olasılıklardır)

Gerçi konformal tahmini ayrıntılı olarak araştırmadım ve yanılıyor olabilirim.

Biraz farklı bir yaklaşımdan bahsediyoruz, kimse googledan araştırmadan önce :)
 
Maxim Dmitrievsky #:
Eşiğinizin mükemmel çalıştığını nasıl fark ettiniz?
Sizin için fantastik, bazıları içinse sıradan bir durum.
OOV ve OOS ve INE dosyasında eşleştirme tahmin hatası
 
СанСаныч Фоменко #:
ALE ve OOS ve SNE dosyasında eşleştirme tahmin hatası
Sınıflandırıcının doğru olasılıkları verdiğini nasıl anladınız? Sadece aralıktaki değerleri değil. Size yazılanları okuyor musunuz?

Eğer 0,8'lik bir eşik belirlerseniz, işlemlerin %80'i kârlı olacak mı? Peki ya 0,51 ise?

Buna sahip olmayacağınız neredeyse kesin. Şuna bir göz atın.
 
Maxim Dmitrievsky #:
Sınıflandırıcının doğru olasılıkları verdiğini nasıl anladınız? Sadece aralıktaki değerleri değil. Size yazılanları okuyor musunuz?

Modellerin olasılıkları, eğitim örneğindeki istatistikler tarafından verilir.

Buna göre, temsili bir örneklem olmadan doğru değildirler, bu yüzden aşın :)

Ya modelin nelerden oluştuğunu bulun ve kendi geliştirdiğiniz algoritmaya göre yaprakları yeniden ağırlıklandırın...

1...334633473348334933503351335233533354335533563357335833593360...3399
Yeni yorum