Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 3293

 
Maxim Dmitrievsky #:

Savunma Bakanlığı'nda farklı bir program kullanılmaktadır

Kozol çıkarımında önyargı ile çalışmak varyansla çalışmaktan daha kolaydır. Dolayısıyla, model karmaşıklığının veya özellik sayısının artmasının yardımcı olmaktan çok engelleyici olduğu hipotetik olmayan bir sonuçtur.


Bu grafik nereden geliyor?

MO, çok fazla parametreye sahip olduğu için cezalandırılan AIC gibi tamamen farklı kriterler kullanır.

Bu ve diğer bilgi kriterleri, modellemedeki yaygın bir varsayımla uyumludur; aynı performansa sahip iki modelden daha az parametreye sahip olan seçilir.

Unutmayalım ki "model" kavramının kendisi gerçekliğin küçültülmesidir. Burada aşırı uçlar yoktur. Kabalaştırma ile model doğruluğunun kabul edilebilirliği arasında bir denge vardır. Ancak asıl önemli olan modelin doğruluğu değil, kabalaşması, genelleme kabiliyetidir. Modellemenin ana düşmanı, model doğruluğunun kardeşi olan aşırı uyum olduğu için bu anlaşılabilir bir durumdur.

 
СанСаныч Фоменко #:

Bu grafik nereden?

Temel bilgilerin temelleri

https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff

 
СанСаныч Фоменко #:

Unutmayalım ki "model" kavramı gerçekliğin yoğunlaştırılmış halidir. Burada aşırı uçlar yoktur. Kabalaştırma ile modelin doğruluğunun kabul edilebilirliği arasında bir denge vardır. Ancak asıl önemli olan modelin doğruluğu değil, kabalaşması, genelleme kabiliyetidir. Modellemenin ana düşmanı, model doğruluğunun kardeşi olan aşırı uyum olduğu için bu anlaşılabilir bir durumdur.

"Ekstremum" kavramını sürekli olarak "keskin tepe" (bir fonksiyonun türevinin olmadığı nokta) ile karıştırıyorsunuz.

Düz bir yüzeyin bile bir ekstremumu vardır.

Başka bir şey de FF'lerin her zaman FF yüzeyinin mümkün olduğunca pürüzsüz ve küresel ekstremumun tek olduğu bir yol seçmeye çalışmasıdır. Tek küresel ekstremum, problemin tek kesin çözümü olmalıdır.

Eğer FF'nin küresel ekstremumu tek değilse ve dahası bir türevi yoksa, bu FF'nin (model değerlendirme kriteri) yanlış seçildiği anlamına gelir. Bunun yanlış anlaşılması "aşırı uyum" terimine yol açar, bunun yanlış anlaşılması ise bazı belirsiz yerel ekstremumların aranmasına yol açar.

Bir benzetme yapabiliriz: bir uzman - bir doktor - eğitilir, sertifikasyon için yeterlilik sınavları (FF) geliştirilir, bir doktor için "aşırı eğitim" veya "aşırı uyum" kavramı olamaz, eğer bir doktor maksimum puanı alamazsa - bu onun yetersiz eğitimli olduğu anlamına gelir. Ve size göre, iyi bir doktor her zaman az eğitimli, az başarılı biri olmalıdır.

Bir kez daha, "aşırı eğitim" ile ilgili sorun, modeli değerlendirmek için yanlış kriter seçimidir. Görünüşe göre forumda böyle havalı uzmanlar var, ancak aynı hataları tekrar tekrar tekrarlıyorlar. Doğru tahmin kriterlerinin geliştirilmesi, tahmincilerin seçiminden daha az önemli değildir, aksi takdirde modeli yeterince tahmin etmek imkansızdır.

Bir itiraz telaşı bekliyorum, sorun değil, buna alışkınım. Birileri için faydalı olacaksa - harika, faydalı olmayacaklar için - her neyse, bu yüzden bu haliyle iyi olduğunu düşünüyorlar.

 
Andrey Dik #:

"Ekstremum" kavramını "keskin tepe" (bir fonksiyonun türevinin olmadığı nokta) ile karıştırmaya devam ediyorsunuz.

Düz bir yüzeyin bile bir ekstremumu vardır.

Bir diğer husus ise FF'lerin her zaman FF yüzeyinin mümkün olduğunca pürüzsüz olmasını ve küresel ekstremumun tek olmasını sağlayacak şekilde seçim yapmaya çalışmasıdır. Tek küresel ekstremum, problemin tek kesin çözümü olmalıdır.

Eğer FF'nin global ekstremumu tek değilse ve dahası bir türevi yoksa, bu FF'nin (model değerlendirme kriteri) yanlış seçildiği anlamına gelir. Bunun yanlış anlaşılması "aşırı uyum" terimine yol açar, bunun yanlış anlaşılması ise bazı belirsiz yerel ekstremumların aranmasına neden olur.

Bir benzetme yapabiliriz: bir uzman - bir doktor - eğitilir, sertifikasyon için yeterlilik sınavları (FF) geliştirilir, bir doktor için "aşırı eğitimli" veya "aşırı donanımlı" kavramı olamaz, eğer bir doktor maksimum puanı alamazsa - bu onun yetersiz eğitimli olduğu anlamına gelir. Ve size göre, iyi bir doktor her zaman az eğitimli, bilim insanı olmayan biri olmalıdır.

Bir kez daha, "aşırı eğitim" ile ilgili sorun, modeli değerlendirmek için yanlış kriter seçimidir. Görünüşe göre forumda böyle havalı uzmanlar var, ancak aynı hataları tekrar tekrar tekrarlıyorlar. Doğru tahmin kriterleri geliştirmek, tahmin edicileri seçmekten daha az önemli değildir, aksi takdirde modeli yeterince tahmin etmek imkansızdır.

Bir itiraz telaşı bekliyorum, sorun değil, buna alışkınım. Eğer birilerinin işine yarayacaksa ne ala, yaramayacak olanların ise umurunda bile değil, o yüzden bu haliyle iyi olduğunu düşünüyorlar.

Varlıkları karıştırıyorsunuz. Optimizasyonu yaklaşıma uydurmaya çalışıyorsunuz ya da tam tersi.

Yaklaşım ve optimizasyon, makine öğrenimi problemlerini çözmede farklı yaklaşımlardır.


Yaklaşım, girdi ve çıktı verileri arasındaki ilişkiye yaklaşan bir model oluşturmayı ifade eder. Bu, örneğin, verileri en iyi şekilde tanımlayan doğrusal veya doğrusal olmayan bir fonksiyon oluşturmak olabilir. Yaklaşım, çözülmesi gereken hedefi veya sorunu dikkate almaz, yalnızca verilere en iyi uyan bir model oluşturmaya çalışır.


Öte yandan optimizasyon, belirli bir hedefe veya soruna ulaşmak için en uygun model parametrelerini bulmayı ifade eder. Bu durumda, model daha karmaşık olabilir ve yaklaşım durumunda olduğundan daha fazla parametre içerebilir. Optimizasyon, hedefi veya amacı dikkate alır ve mümkün olan en iyi sonucu elde etmek için model parametrelerini ayarlar.


Genel olarak, etkili makine öğrenimi modelleri oluşturmak için yaklaştırma ve optimizasyon genellikle birlikte kullanılır. İlk olarak, modeli oluşturmak için yaklaşım gerçekleştirilir ve ardından istenen hedefe veya göreve ulaşmak için bu modelin parametrelerini ayarlamak için optimizasyon gerçekleştirilir.

 
Sinir ağı sizin FF'lerinizi önemsemez. Görevini hazır veriler üzerinde gerçekleştirir. Buradaki tartışma, böyle bir modelin varyansı ve yanlılığı arasında nasıl bir denge bulunacağıdır. Mitramiles NS'nin ikinci ucuna farklı FF'ler koydu. Hepsi aynı uyumu elde etti.

Varsayılan olarak zaten ayarladığımız bir hedef f-i bulma hakkında yazıyorsunuz.

Yine de aradaki farkı anlamanız gerekiyor.
 
Bu nedenle yukarıda, uzman bilgisine veya algoritmik kararlara dayanan uygun işaretlemenin veya Oracle'ın önemi hakkında yazılmıştır. Bu, modele a priori olarak getirdiğiniz şeydir. Hiçbir FF sizi orada kurtaramaz.

Bu konu zaten defalarca tartışıldı, dönüp dolaşıp aynı yere geliyor. Ya somut bir şey tartışılır ya da herkes yükü kendi tarafına çeker.
 

Sana söylemiştim.

Sanych karşılık vermeye başlasaydı anlardım ama Max....

FF bir değerlendirmedir, biz her şeyi değerlendiririz. Eğer yaptığımız şeyi yanlış değerlendirirsek, bu yanlış yaptığımız anlamına gelmez. Düzgün bir değerlendirme olmadan bu 50/50 olur ve sonra derler ki - bu işe yaramıyor, bu işe yaramıyor.... Değerlendirme tasarımı konusunda uzman olduğumu iddia etmiyorum, bu çok zor bir görev.

"Aynı şeyler dönüp dolaşıp söyleniyor" - bunlar benim sözlerim değil, olsa olsa)))))) Yer yer kelimeleri değiştirmek mümkündür, böylece kulağa daha da kötü gelecektir, burada değerlendirme kriteri "kelime sayısıdır", bu doğru bir değerlendirme değildir, çünkü yer yer kelimelerin değiştirilmesiyle anlam dramatik bir şekilde değişebilir.

 
Şu çarpıcı haberi paylaşmadan edemeyeceğim (benim için çok doğru), SSG'den bile daha güçlü bir algoritma bulundu.
 
Kavramlar sürekli yer değiştiriyor, iletişim kurmak imkansız.
 
Maxim Dmitrievsky #:
Kavramlar sürekli yer değiştiriyor, iletişim kurmak imkansız.

Katılıyorum, kimse birbirini anlamıyor, bir ifadeyi ve anlamsal yükünü değerlendirmek için tek bir kriter yok. Kimse kimin ne demek istediğini bilmiyor, şu anekdotta olduğu gibi:

- Ne demek istiyorsun?!

- Ne demek istediğimi kastediyorum.

Savunma Bakanlığı'nda da durum böyle.