Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 2834

 
mytarmailS #:
xgboost ile başarılı olamadım...
Daha doğrusu, yaptım, ama eğitim işe yaramadı, orada gradyanlarla iyi arkadaş olmanız gerekiyor, fitness fonksiyonunu gradyan yapmanız gerekiyor, genetik ile çok daha kolay

Evet, işin zor kısmı da bu. Gradyanı ve ikinci türevler matrisini, yani Hessian'ı hesaplamanız gerekir. Hessian da pozitif tanımlı olmalıdır.

Örneğin kar için, Hessian dejenere gibidir (sıfıra eşittir). Kayıp fonksiyonunu bir şekilde ihtiyaç ve gereklilik arasında makul bir uzlaşmaya getirmek gerekir.

 
Andrey Dik #:

1. Soyadım reddedilmedi
2. soru globalin değişip değişmeyeceği değil (mutlaka değişecektir), global ekstremumu bulup bulamayacağıdır. eğer umursamıyorsanız, ağ ağırlıklarını rastgele sayılarla başlatabilirsiniz ve bu kadar, çünkü global olup olmaması ne fark eder? yerel.))

1. Soyadı konusunda, bunu dikkate alacağım. Böyle bir soyadına sahip tanıdığım tek kişi sizsiniz.

2. Fikri saçmalığa götürmememiz gerektiğine itiraz etmek isterdim, ancak gerçekte durum aynı: herhangi bir optimuma ihtiyacımız yok - platolara ihtiyacımız var, ne kadar kapsamlı, o kadar iyi, ne kadar karlı, o kadar iyi. Ve ekstremum her zaman istikrarsız bir durumdur, ancak bizim istikrarlı bir duruma ihtiyacımız var, hem de gelecekte. Dolayısıyla optimum arayışının zararlı bir faaliyet olduğu ortaya çıkıyor.

Burada, gelecekteki kârın istikrarının tahmin edicilerin özelliklerine bağlı olduğu ve modele çok az, hatta optimizasyon algoritmalarına daha da az bağlı olduğu fikrini ileri sürüyorum. Yani tamamen farklı bir yaklaşım.

 
СанСаныч Фоменко #:

Burada, gelecekteki karların sürdürülebilirliğinin tahmin edicilerin özelliklerine bağlı olduğu ve modele çok az bağlı olduğu, optimizasyon algoritmalarına çok daha az bağlı olduğu fikrini savunuyorum. Bu tamamen farklı bir yaklaşım.

Bana örneğinizi gönderebilir misiniz? Zayıf model öğrenme sorunu konusunda aynı vizyona sahibiz, sizin seçim yönteminizin benimkinden ne kadar daha iyi olduğunu ve sizin örneğinize uyup uymadığını karşılaştırmak istiyorum.

 
Logloss yerine neyin ikame edilmesi önerilmektedir?
 
Aleksey Nikolayev #:

Evet, işin zor kısmı da bu. Gradyanı ve ikinci türevlerin matrisini - Hessian'ı hesaplamanız gerekir. Hessian da pozitif tanımlı olmalıdır.

Örneğin kar için, Hessian dejenere gibidir (sıfıra eşittir). Kayıp fonksiyonunu bir şekilde ihtiyaç ve gereklilik arasında makul bir uzlaşma sağlayacak şekilde inceltmek gerekir.

Burada, anladığım kadarıyla, Hessian hiç dikkate alınmıyor.

#  Custom objective function (squared error)
myobjective <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  grad <- (preds-labels)    
  hess <- rep(1, length(labels))                
  return(list(grad = grad, hess = hess))
}

#  Custom Metric
evalerror <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  err <- (preds-labels)^2        
  return(list(metric = "MyError", value = mean(err)))   
}

sadece gradyanı azaltmak için çalışır.

grad <- (preds-labels)   


Bu farklı.

logregobj <- function(preds, dtrain) {
  labels <- getinfo(dtrain, "label")
  preds <- 1 / (1 + exp(-preds))
  grad <- preds - labels
  hess <- preds * (1 - preds)
  return(list(grad = grad, hess = hess))
}


Çok zorlandığımı hatırlıyorum, bu yüzden bıraktım.

Ama fiziğimi geliştirmek harika olurdu :)
 
СанСаныч Фоменко #:

Ancak gerçekte durum şudur: herhangi bir optimuma ihtiyacımız yoktur - platolara ihtiyac ımız vardır, ne kadarkapsamlı olursa o kadar iyi, ne kadar karlı olursa o kadar iyi. Ve bir ekstremum her zaman istikrarsız bir durumdur ve

Ve "ne kadar plato / plato değil" i değerlendirenfonksiyon maksimum arayışı değil midir?

Ve "ne kadar karlı o kadar iyi" yi değerlendiren bir fonksiyon maksimum arama değil midir ?

Ve "ne kadar kapsamlı o kadar iyi "yi değerlendiren fonksiyon bir maksimum arama değil midir ?

Ve "sabit/kararsız durumu" değerlendiren fonksiyon maksimum arama değil midir?

Yoksa orada da bir platoya mı ihtiyacınız var? )))) Peki, o zaman birinci maddeye bakın ))))

Ah bu saygısız insanlar ...



SanSanych Fomenko #:

Burada, gelecekteki karların sürdürülebilirliğinin tahmin edicilerin özelliklerine bağlı olduğu ve modele çok az, optimizasyon algoritmalarına çok daha az bağlı olduğu fikrini ileri sürüyorum. Yani, tamamen farklı bir yaklaşım.

Fikri zorlamamalısınız, kanıtlamalı ya da en azından gerekçelendirmelisiniz....

Burada bir tane vardı, Mashka'nın olabilecek en iyi şey olduğu fikrini zorluyordu ve bu zorlamanın ne faydası var??????

 
Daha da havalısı, eksik gövdeyi dahil etmek ve çipler ile etiketler arasındaki kar faktörünü ne tür bir ilişkinin tanımlayabileceğini düşünmek olacaktır. Kabaca hiçbiri 🤤
 
СанСаныч Фоменко #:

1. Soyadını aklımda tutacağım. Bu soyadına sahip tanıdığım tek kişi sensin.

2. Bu fikri absürd hale getirmememiz gerektiğine itiraz etmek istiyorum, ancak gerçekte durum aynıdır: herhangi bir optimuma ihtiyacımız yok - platolara ihtiyacımız var, ne kadar kapsamlı, o kadar iyi, ne kadar karlı, o kadar iyi. Ve ekstremum her zaman istikrarsız bir durumdur, ancak bizim istikrarlı bir duruma ihtiyacımız var, hem de gelecekte. Dolayısıyla, optimum arayışının zararlı bir uğraş olduğu ortaya çıkıyor.

Burada, gelecekteki kârın istikrarının tahmin edicilerin özelliklerine bağlı olduğu ve modele çok az, hatta optimizasyon algoritmalarına daha da az bağlı olduğu fikrini savunuyorum. Bu tamamen farklı bir yaklaşımdır.

1. v

2. Burada varsayımsal bir öğrenme fonksiyonunun eğrisi gibi bir şekil var.

Izgaranın yerel ekstremum 1'de duracağından memnun musunuz? Ya da belki 2? Ya da ne, 3, ortadaki gibi? Yani kaç tane yerel ekstremum olduğu önceden bilinmiyor, 100500 ya da daha fazla olabilir. Bu nedenle algoritmanın ulaşabileceği en yüksek yerel ekstremiteyi bulmaya çalışmak önemlidir.

 
Maxim Dmitrievsky #:
Logloss yerine ne öneriliyor?

Eğer bu benim için bir soruysa, kar ya da onun makul bir benzeri. Kar - şimdilik sadece tüm (close[i] - open[i])*prognos[i] toplamı olsun, burada prognos[i] mum renginin tahminidir ve 1 veya -1'dir. İyi gradyan ve hessian davranışı için bir şekilde değiştirilmesi gerekebilir.

 
Aleksey Nikolayev #:

Eğer bu benim için bir soruysa, kar veya bunun makul bir benzeri. Kar - şimdilik sadece tüm (close[i] - open[i])*prognos[i] toplamı olsun, burada prognos[i] mum renginin tahminidir ve 1 veya -1'dir. İyi bir gradyan ve hessian davranışı için bir şekilde değiştirilmesi gerekebilir.

Genetikte değişkenleri alır ve bir kritere göre maksimize ederiz. Burada bunu yapamazsınız, çünkü sınıflandırma. Kâr ve sınıf etiketleri arasında bir ilişki yoktur. En iyi ihtimalle, hiçbir şey elde edemezsiniz. Bu yüzden bu tür kriterler eval_metrics'e yerleştirilir