Bayesian regresyon - Bu algoritmayı kullanarak Uzman Danışman yapan var mı? - sayfa 28

 

Şube konusuna gelince: Bayes, mql

Bayes formülü

Doğrusal bağımlılık y=ax+b;

Normal dağılımın formülü.(Prensipte başka bir dağılım alabilirsiniz.)

formülü yeniden yazalım

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (1)

Ayrıca, anladığım kadarıyla, a ve b'nin tüm olası kombinasyonlarından geçmeniz gerekiyor. Formül (1)'e göre maksimum olasılığı verecek olan a ve b, istenen katsayılar olacaktır.

 
Yuri Evseenkov :

Şube konusuna gelince: Bayes, mql

Bayes formülü

Doğrusal bağımlılık y=ax+b;

Normal dağılımın formülü.(Prensipte başka bir dağılım alabilirsiniz.)

formülü yeniden yazalım

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (1)

Ayrıca, anladığım kadarıyla, a ve b'nin tüm olası kombinasyonlarından geçmeniz gerekiyor. Formül (1)'e göre maksimum olasılığı verecek olan a ve b, istenen katsayılar olacaktır.

Bunun hiç de böyle olmadığına dair bazı şüpheler var.
 
Dmitry Fedoseev :
Bunun hiç de böyle olmadığına dair bazı şüpheler var.
Şüphenizi paylaşın lütfen.
 
Yuri Evseenkov :
Şüphenizi paylaşın lütfen.
Değil. Kesin olarak bilseydim, onu kodla tasvir ederdim, ama hiç durmadan gevezelik edebilirsiniz. Konuda böyle megalodonlar var, pratikte belagatlarıyla parlasınlar.
 
Dmitry Fedoseev :
Değil. Kesin olarak bilseydim, onu kodla tasvir ederdim, ama hiç durmadan gevezelik edebilirsiniz. Konuda böyle megaladonlar var, pratikte belagatlarıyla parlasınlar.
Çok yazık. Sizden konuyla ilgili tüm ayrıntılardan daha fazlası. Ve yetkin yoldaşların offtopiği benim için çok ilginç, ama "ormanlarda" kaybolmaktan korkuyorum.
 
Yuri Evseenkov :

Şube konusuna gelince: Bayes, mql

Bayes formülü

Doğrusal bağımlılık y=ax+b;

Normal dağılımın formülü.(Prensipte başka bir dağılım alabilirsiniz.)

formülü yeniden yazalım

P(a,b|x,y)=P(x,y|a,b)*P(a)*P(b)/P(x,y); (1)

Ayrıca, anladığım kadarıyla, a ve b'nin tüm olası kombinasyonlarından geçmeniz gerekiyor. Formül (1)'e göre maksimum olasılığı verecek olan a ve b, istenen katsayılar olacaktır.

Doğru yönde düşünüyor gibisin. Bunu şimdiden unutmaya başladım ama açıklaması şu.

Diyelim ki bir zaman serimiz var (isterseniz fiyatlar), Y = {y[1], y[2], ..., y[n]}. Ayrıca W={w[1], w[2], ... , w[m]} bilinmeyen model parametrelerimiz de var. Bu modelin regresyon olduğunu varsayalım, yani,

y[i] = SUM_j w[j]*f(X) + e[i]

f() bir yaklaşım işlevidir (örneğin bir polinom), X girdidir, e[] bir hatadır.

W modelinin parametrelerini bulmak için maksimum olabilirlik teoremini kullanırız:

W = argmaks ln(P(W|Y))

Şimdi Bayes teoremini uygularız:

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y) ile bölme ihmal edilebilecek bir normalleştirmedir. alırız

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

P(Y|W), W parametreleri verilen X'in olasılığı aşağıdaki gibi hesaplanabilir:

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

Hatalar normal dağılmış ve birbirinden bağımsız ise,

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)'yi (1) ile değiştirin ve

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W) genellikle 1'dir, ancak Laplacian dağılımını seçebilirsiniz:

P(W) ~ exp(-lambda*||W||_1)

Almak

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + lambda*||W||_1

Özetle, serimizi Gauss hatalarıyla regresyona maksimum olabilirlik ve Bayes teoremi uygulamak, lambda*... kontrol terimi olan veya olmayan bir en küçük kareler yöntemiyle sonuçlanır. Matematik zor, ama sonuç basit. Hataların normal dağılımından hoşlanmıyorsanız, bunu başka bir örneğin Laplacian ile değiştirin, şunları elde edersiniz:

W ~ argmin SUM|e[i]| + lambda*||W||_1

Ayrıca süper gauss'a da geçebilirsiniz,

W ~ argmin SUM|e[i]|^p + lambda*||W||_1

Bu arada burada yazıldığı formdaki düzenleyici katkı maddesi en küçük kareler yöntemini seyrek bir kodlama yöntemine dönüştürüyor. Onsuz, bu klasik bir doğrusal regresyon , W'ye göre türevlenerek ve sıfıra eşitlenerek çözülür.

 
Vladimir :

Doğru yönde düşünüyor gibisin. Bunu şimdiden unutmaya başladım ama açıklaması şu.

Diyelim ki bir zaman serimiz var (isterseniz fiyatlar), Y = {y[1], y[2], ..., y[n]}. Ayrıca W={w[1], w[2], ... , w[m]} bilinmeyen model parametrelerimiz de var. Bu modelin regresyon olduğunu varsayalım, yani,

y[i] = SUM_j w[j]*f(X) + e[i]

f() yaklaşık bir fonksiyondur (örneğin bir polinom), X girdidir, e[] bir hatadır.

W modelinin parametrelerini bulmak için maksimum olabilirlik teoremini kullanırız:

W = argmaks ln(P(W|Y))

Şimdi Bayes teoremini uygularız:

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y) ile bölme ihmal edilebilecek bir normalleştirmedir. alırız

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

P(Y|W), W parametreleri verilen X'in olasılığı aşağıdaki gibi hesaplanabilir:

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

Hatalar normal dağılmış ve birbirinden bağımsız ise,

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)'yi (1) ile değiştirin ve

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W) genellikle 1'dir, ancak Laplacian dağılımını seçebilirsiniz:

P(W) ~ exp(-lambda*||W||_1)

Almak

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + lambda*||W||_1

Özetle, serimizi Gauss hatalarıyla regresyona maksimum olabilirlik ve Bayes teoremi uygulamak, lambda*... kontrol terimi olan veya olmayan bir en küçük kareler yöntemiyle sonuçlanır. Matematik zor, ama sonuç basit. Hataların normal dağılımından hoşlanmıyorsanız, bunu başka bir örneğin Laplacian ile değiştirin, şunları elde edersiniz:

W ~ argmin SUM|e[i]| + lambda*||W||_1

Ayrıca süper gauss'a da geçebilirsiniz,

W ~ argmin SUM|e[i]|^p + lambda*||W||_1

Bu arada burada yazıldığı formdaki düzenleyici katkı maddesi en küçük kareler yöntemini seyrek bir kodlama yöntemine dönüştürüyor. Onsuz, bu klasik bir doğrusal regresyon , W'ye göre türevlenerek ve sıfıra eşitlenerek çözülür.

Teşekkür ederim!
 
Vladimir :

Doğru yönde düşünüyor gibisin. Bunu şimdiden unutmaya başladım ama açıklaması şu.

Diyelim ki bir zaman serimiz var (isterseniz fiyatlar), Y = {y[1], y[2], ..., y[n]}. Ayrıca W={w[1], w[2], ... , w[m]} bilinmeyen model parametrelerimiz de var. Bu modelin regresyon olduğunu varsayalım, yani,

y[i] = SUM_j w[j]*f(X) + e[i]

f() yaklaşık bir fonksiyondur (örneğin bir polinom), X girdidir, e[] bir hatadır.

W modelinin parametrelerini bulmak için maksimum olabilirlik teoremini kullanırız:

W = argmaks ln(P(W|Y))

Şimdi Bayes teoremini uygularız:

P(W|Y) = P(Y|W)*P(W)/P(Y)

P(Y) ile bölme ihmal edilebilecek bir normalleştirmedir. alırız

(1) W = argmax {ln(P(W|Y))} ~ argmax {ln(P(Y|W)) + ln(P(W))} ~ argmin {-ln(P(Y|W) ) -ln(P(W))}

P(Y|W), W parametreleri verilen X'in olasılığı aşağıdaki gibi hesaplanabilir:

P(Y|W) = P(SUM_j w[j]*f(X) + e[i] | W) = P(E)

Hatalar normal dağılmış ve birbirinden bağımsız ise,

(2) P(Y|W) = P(E) ~ exp(-SUM{e[i]^2}/(2*sigma^2))

(2)'yi (1) ile değiştirin ve

W ~ argmin {-ln(P(Y|W)) - ln(P(W))} ~ argmin SUM{e[i]^2} - ln(P(W))

P(W) genellikle 1'dir, ancak Laplacian dağılımını seçebilirsiniz:

P(W) ~ exp(-lambda*||W||_1)

Almak

W ~ argmin SUM{e[i]^2} - ln(P(W)) ~ argmin SUMChe[i]^2 + lambda*||W||_1

Özetle, serimizi Gauss hatalarıyla regresyona maksimum olabilirlik ve Bayes Teoremi uygulamak, lambda*... kontrol terimi olan veya olmayan bir en küçük kareler yöntemiyle sonuçlanır. Matematik zor, ama sonuç basit. Hataların normal dağılımından hoşlanmıyorsanız, bunu başka bir örneğin Laplacian ile değiştirin, şunları elde edersiniz:

W ~ argmin SUM|e[i]| + lambda*||W||_1

Ayrıca süper gauss'a da geçebilirsiniz,

W ~ argmin SUM|e[i]|^p + lambda*||W||_1

Bu arada burada yazıldığı formdaki düzenleyici katkı maddesi en küçük kareler yöntemini seyrek bir kodlama yöntemine dönüştürüyor. Onsuz, bu klasik bir doğrusal regresyon , W'ye göre türevlenerek ve sıfıra eşitlenerek çözülür.

Detaylı yorum için teşekkürler. Anahtar kelimeler ve formüller verilir. Bunu halledeceğim.

"Özet olarak, serimizi Gauss hatalarıyla regrese etmek için maksimum olabilirlik ve Bayes Teoremi'ni uygulamak, lambda* değiştiricili veya değiştiricisiz en küçük karelerle sonuçlanır. Matematik zor, ancak sonuç basit."

İkna edilmiş. Hemen hemen. Farklı yöntemlerle hesaplandığında y=ax+b doğrularının a ve b katsayılarının sayısal veya yaklaşık olarak eşit olacağına dair bir şüphe gölgesi kalmıştır. Burada, iki yöntemin formüllerini özenle karşılaştırmanız veya bir program yazmanız gerekir. Esas olan formüllerin, algoritmanın ve kodun kendisinin teoriye uygun olmasıdır. Program şunları yapmalıdır:

- en küçük kareler yöntemiyle y=ax+b doğrusal regresyonunun a ve b katsayılarını hesaplayın

- mat ile normal dağılımı uygularken, Bayes teoremine göre olasılığın maksimum olduğu a ve b katsayılarını alın. ax+b'ye eşit beklenti

Ardından, katsayıları karşılaştırmanız ve önemli bir fark olması durumunda, bu a ve b üzerine inşa edilmiş iki düz çizginin dinamiklerdeki davranışına bakmanız gerekir. Örneğin, görselleştirme modunda strateji test cihazında.

Program, Bayes formülündeki diğer modeller, regresyonlar, dağılımlar kullanılarak daha fazla kullanılabilir. Gerçekten iyi bir şey olabilir.

PS En sevdiğim örneği hatırladım:

"Büyük olasılıkla Bayes düşüncesini zaten kullanmışsınızdır, ancak bunu bilmiyorsunuz. Hadi tartışalım.
Neil Manson'dan aldığım bir örnek: Savaşta siperde saklanan bir askersiniz. sen kesinlikle
savaş alanında yaklaşık 400 metre uzaklıkta sadece bir düşman askerinin kaldığını bilin.
yarda. Ayrıca, sıradan bir asker ise, o zaman size böyle bir şeyle vuramayacağını da biliyorsunuz.
mesafeler. Ancak, bu asker bir keskin nişancı ise, o zaman bunu yapabilmesi oldukça olasıdır.
Alın. Ancak düşman ordusunda çok az keskin nişancı var, bu yüzden büyük olasılıkla bu sıradan bir asker. Sen
etrafa daha iyi bakmaya çalışarak kafanı siperden kaldır. bam! Kurşun kaskınıza çarpıyor
ve sipere geri düşersin.
Tamam, düşünüyorsun. Keskin nişancıların nadir olduğunu biliyorum ama bu adam bana 400 ile vurdu.
yarda. Bunun sıradan bir asker olma ihtimali hala yüksek, ancak bunun bir keskin nişancı olma ihtimali zaten var.
daha yüksek, çünkü bana çok uzun bir mesafeden vurdu. Birkaç dakika sonra sen
tekrar dışarı bakmaya ve kafanı siperin üzerine kaldırmaya cesaret ediyorsun. bam! ikinci kurşun
kaskınıza çarpıyor! Geri çekiliyorsun. Lanet olsun, düşünüyorsun. Kesinlikle bir keskin nişancı. Ne kadar nadir olurlarsa olsunlar
ancak normal bir asker o mesafeden arka arkaya iki kez vuramaz
. Kesinlikle
Keskin nisanci. Yardım çağırsam iyi olur. Bu, nasıl düşüneceğinizin kaba bir tahminiyse
benzer durum, o zaman tebrikler! En azından bir Bayesçi gibi mi düşünüyorsunuz?
en azından bazen."
(Yazar belirtilmemiş).

 
Yuri Evseenkov :


- en küçük kareler yöntemiyle y=ax+b doğrusal regresyonunun a ve b katsayılarını hesaplayın

- mat ile normal dağılımı uygularken, Bayes teoremine göre olasılığın maksimum olduğu a ve b katsayılarını alın. ax+b'ye eşit beklenti


Eşit olacaklar, çok yakın. Soru, finansal piyasalara uygulandığı şekliyle katsayılar için önceden bir dağılım belirlemeye çalışmanın mantıklı olup olmadığıdır.

Regresyonda (L1, L2) düzenlileştirme kullandıklarını sık sık gördüm. Sıradan doğrusal regresyondan daha iyi performans gösterebilir.

 
Alexey Burnakov :

Eşit olacaklar, çok yakın. Soru, finansal piyasalara uygulandığı şekliyle katsayılar için önceden bir dağılım belirlemeye çalışmanın mantıklı olup olmadığıdır.

Regresyonda (L1, L2) düzenlileştirme kullandıklarını sık sık gördüm. Sıradan doğrusal regresyondan daha iyi performans gösterebilir.

Anladığım kadarıyla a ve b katsayılarının, Bayes formülü P(a,b|x,y)=P(x,y|a,b) uyarınca maksimum olasılığı veren kombinasyonu belirlemek için sıralanması gerekiyor. )*P(a)*P(b)/P(x,y); (1) P(a) ve P(b) olasılıkları, perde çevrimlerinin adımlarına eşit olacak ve sabit bir değer olacaktır. Dağılımları eşit olacaktır.

Not: Reel finansal piyasaların ve forex'in doğasının önemli ölçüde farklı olduğu kanaatindeyim. Forex daha çok bir kumar işidir. Bir tür çok oyunculu çevrimiçi bilgisayar simülatörü. Bu nedenle Forex'in bu alanlarda geçerli olan yasaları uygulaması mümkündür. Örneğin normal dağılım yasası.