Bayesian regresyon - Bu algoritmayı kullanarak Uzman Danışman yapan var mı? - sayfa 38

 
Vasiliy Sokolov :
Her kelimesine aboneyim. Bir sonraki bölümde bu regresyonun özellikleri tamamen farklı olacaksa, bir regresyon inşa etmenin anlamı nedir. Modeli verilere sığdırmak için istediğiniz kadar ince ayar yapabilirsiniz, ancak Y'nin (fiyat) X'ten (zaman) bağımsız olduğunu, en azından doğrusal regresyon açısından kabul etmek daha kolaydır.

Bu, sağduyunun başka bir örneğidir.

Meslektaşım Coursera'da Veri Bilimi okudu ve rastgele oluşturulmuş bir seri (martingale veya normal olarak dağıtılmış artışlarla bir Wiener süreci denebilir) üzerinde doğrusal bir regresyon yaklaşımı oluşturduğu bir son proje yaptı ve bir sonraki segmentte nasıl olduğunu gösterdi. serinin tüm regresyon parametreleri kesinlikle tahmin edilemez bir şekilde sürüklenir. oyuncak sorunu

Halihazırda regresyon kullanıyorsak (donanımını iyi bilmememe rağmen, sadece prensibini bilmeme rağmen, regresyonu kırma eğilimindeyim), o zaman bunu fiyat artışları veya türevleri üzerinde yapın. Ve sonra sağlam metrikler elde etme şansı var. Ancak bu durumda bile normal dağılmış artıklar elde etmek gerçekçi değildir.

 
Alexey Burnakov :

Bu, sağduyunun başka bir örneğidir.

Meslektaşım Coursera'da Veri Bilimi okudu ve rastgele oluşturulmuş bir seri (martingale veya normal olarak dağıtılmış artışlarla bir Wiener süreci denebilir) üzerinde doğrusal bir regresyon yaklaşımı oluşturduğu bir son proje yaptı ve bir sonraki segmentte nasıl olduğunu gösterdi. serinin tüm regresyon parametreleri kesinlikle tahmin edilemez bir şekilde sürüklenir. oyuncak sorunu

Halihazırda regresyon kullanıyorsak (donanımını iyi bilmememe rağmen, sadece prensibini bilmeme rağmen, regresyonu kırma eğilimindeyim), o zaman bunu fiyat artışları veya türevleri üzerinde yapın. Ve sonra sağlam metrikler elde etme şansı var. Ancak bu durumda bile normal dağılmış artıklar elde etmek gerçekçi değildir.

;)

Sırt regresyonu için, artıkların dağılımının sadece normalliği gerekli değildir.

Bayesian regresyon , sırt regresyonuna benzer, ancak verilerde gürültünün normal olarak dağıldığı varsayımına dayanır - bu nedenle, verilerin yapısının zaten genel bir anlayışının olduğu varsayılır ve bu, bir elde etmeyi mümkün kılar. doğrusal regresyona kıyasla daha doğru bir model.

 
Ridge regresyonu, birbiriyle ilişkili çok fazla bağımsız değişken varsa, çoklu bağlantı sorununu çözer
 
Дмитрий :

;)

Sırt regresyonu için, artıkların dağılımının sadece normalliği gerekli değildir.


Pekala, itiraf ediyorum ki regresyonun alt türlerini iyi bilmiyorum. Ve artıkların normalliğinin gerekli olmaması da çok iyi. Ve piyasalar için sırt regresyonu daha uygulanabilir olabilir. Katsayıların değerleri üzerinde kısıtlamalar vardır. Alıntılardaki bu tür bir gerilemenin sağlam bir sonuç verdiği örnekleri biliyorum.

Bireysel regresörler için katsayılar sıfıra yozlaşabildiğinde, L2-düzenleme ile bir gerileme de vardır. Bu, çok sayıda regresör varsa ve girdi vektörünün boyutunu azaltmanız gerekiyorsa kullanışlıdır.

Ancak ayrıntıları bilmeden, matematiksel regresyon aygıtının vahşi doğasına girmek tehlikeli olabilir.

 
Дмитрий :
Ridge regresyonu, birbiriyle ilişkili çok fazla bağımsız değişken varsa, çoklu bağlantı sorununu çözer

Bu da taramanın son derece kullanışlı bir yönüdür.

Uygulamada, regresörler arasında bağımsızlık elde etmek neredeyse gerçekçi olmayan bir şekilde zor bir iştir ve ortak doğrusallığın varlığı, sıradan bir doğrusal regresyonda tüm istatistikleri çarpıtır. Bu nedenle, SanSanych'in haklı olarak belirttiği gibi, yöntemin uygulanabilirliği her şeyden önce gelir.

 
Alexey Burnakov :


Bireysel regresörler için katsayılar sıfıra yozlaşabildiğinde, L2-düzenleme ile bir gerileme de vardır. Bu, çok sayıda regresör varsa ve girdi vektörünün boyutunu azaltmanız gerekiyorsa kullanışlıdır.


Kement gerilemesi? Evet, böyle bir şey var.

Uygulamada, sırt yöntemi daha uygundur - faktörlerin dahil edilmesi veya hariç tutulması ile bir gerileme olarak uygulanır.

 
Дмитрий :

Kement gerilemesi? Evet, böyle bir şey var.

Uygulamada, sırt yöntemi daha uygundur - faktörlerin dahil edilmesi veya hariç tutulması ile bir gerileme olarak uygulanır.

Evet, öyle.

İşte teklifleri tahmin etmek için güçlü regresyonlar kullanmaya, rekabette 3. sırayı almaya, ancak ayrıntı vermeyen bir örnek: http://blog.kaggle.com/2016/02/12/winton-stock-market-challenge-winners-interview- 3. sıra-mendrika-ramarlina/

Ve bence harika bir örnek daha: https://www.kaggle.com/c/battlefin-s-big-data-combine-forecasting-challenge/forums/t/5966/share-your-approach

Sergey Yurgenson'u okuyun ve kodunu görün (başka bir yarışmada 2. sıra):

Algoritmam Matlab üzerinde yazılmıştır ve aşağıda kod verilecektir. Algoritmanın ana fikri, her bir potansiyel tahmin edicinin eğimlerinin p değerine göre seçilen az sayıda tahmin edici kullanarak doğrusal regresyon modelini (sağlam regresyon) kullanmaktır.

Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
  • 2016.12.02
  • blog.kaggle.com
The Stock Market Challenge, Winton's second recruiting competition on Kaggle, asked participants to predict intra and end of day stock returns. The competition was crafted by research scientist at Winton to mimic the type of problem that they work on everyday. Mendrika Ramarlina finished third in the competition with a combination of simple...
 

Ve L1 / L2 düzenlemesi konusunda: https://msdn.microsoft.com/ru-ru/magazine/dn904675.aspx

Her durumda, tanıştığımıza memnun oldum.

 
Alexey Burnakov :

Bu da taramanın son derece faydalı bir yönüdür.

Uygulamada, regresörler arasında bağımsızlık elde etmek neredeyse gerçekçi olmayan bir şekilde zor bir iştir ve ortak doğrusallığın varlığı, sıradan bir doğrusal regresyonda tüm istatistikleri çarpıtır. Bu nedenle, SanSanych'in haklı olarak belirttiği gibi, yöntemin uygulanabilirliği her şeyden önce gelir.

Ana bileşen yöntemini denedim. İdeal gibi görünüyor. Dönüşüm sonucunda sıfır korelasyonlu bir regresör seti elde edilir. Ana çeşitliliği açıklayan "ana" olanları da seçebilirsiniz.

Sınıflandırma görevleri için çok zaman öldürdü. En azından hatayı % oranında azaltın.

 
СанСаныч Фоменко :

Ana bileşen yöntemini denedim. İdeal gibi görünüyor. Dönüşüm sonucunda sıfır korelasyonlu bir regresör seti elde edilir. Ana çeşitliliği açıklayan "ana" olanları da seçebilirsiniz.

Sınıflandırma görevleri için çok zaman öldürdü. En azından hatayı % oranında azaltın.

Geçenlerde meslektaşlarımla lineer regresyonun tarihçesini ve gelişimini tartıştım. Kısacası, başlangıçta çok az veri ve çok az tahmin edici vardı. Sıradan doğrusal regresyon, bazı varsayımlarla başa çıktı. Ayrıca bilgi teknolojisinin gelişmesiyle birlikte veri miktarı artmış, tahminci sayısı onbinleri kolaylıkla aşabilmektedir. Bu gibi durumlarda, olağan doğrusal regresyon yardımcı olmaz - yeniden eğitim. Bu nedenle, düzenli sürümler, dağıtım gereksinimlerine dayanıklı sürümler vb. ortaya çıktı.