Ticarette makine öğrenimi: teori, pratik, ticaret ve daha fazlası - sayfa 1830

 
Evgeny Dyuka'nın fotoğrafı.

Üzücü olan şu ki, kalıplar, kalıplar hakkında konuşuyorsunuz ve size piyasayı tam olarak neyin yönlendirdiğini soruyor ve söylemiyorsunuz .. çünkü kalıp anlayışınız ağdan bir olasılık şeklinde bir yanıtla bitiyor .

Tüm çözümünüz, farklı veriler üzerinde yüzlerce ağ oluşturmak ve çıktılarını bir olasılık olarak analiz etmektir...

Ama ya piyasayı anlar ve yasalarını anlarsanız?

Sonra bir günlük. bir kural , tanımladığınız şeyi yüzlerce ağla tanımlayabilir


Örneğin. sadece üç unsurdan oluşan bir kural ve yüzlerce ağınızdan daha kötü işlem yapmaz



Peki ya böyle 1000 kural bulursam ve onlardan rastgele bir orman gibi bir şey yaratırsam, bu kurallar topluluğu? Kaliteyi arttır? Evet, ticaret yapabilir miyim? Evet...

Peki ya her biri 100 nöron içeren 1000 nörondan oluşan bir topluluk oluşturmaya çalışırsanız? 100k nöron alıyorsunuz, ilk önce 100k nöron için benzersiz veri setleri bulamayacaksınız, ikincisi sonsuza kadar cevap için bekleyeceksiniz ....

Sonuç olarak - yaklaşımım "daha temiz", daha hızlı ve ölçeklenebilir + açıklanabilir, yaklaşımınız geliştirilemez ((

Ne yazık ki

 
mytarmailS :

Sonuç olarak - yaklaşımım "daha temiz", daha hızlı ve ölçeklenebilir, yaklaşımınız geliştirilemez ((

Dürüst olmak gerekirse, yaklaşımınız bir şekilde tamamen net değil, ancak bu sadece benim için olabilir ....

 
Evgeny Dyuka'nın fotoğrafı.

İşte bilgiyi nasıl sıkıştırabileceğinizin canlı bir örneği, benim yaptığım bir şey değil ama bu konsept için uğraşıyorum

Veri - Fisher'ın süsenleri

iris[sample( 100 , 100 ),] 
    Sepal.Length Sepal.Width Petal.Length Petal.Width    Species
51            7.0          3.2            4.7          1.4 versicolor
31            4.8          3.1            1.6          0.2      setosa
79            6.0          2.9            4.5          1.5 versicolor
33            5.2          4.1            1.5          0.1      setosa
73            6.3          2.5            4.9          1.5 versicolor
80            5.7          2.6            3.5          1.0 versicolor
16            5.7          4.4            1.5          0.4      setosa
74            6.1          2.8            4.7          1.2 versicolor
30            4.7          3.2            1.6          0.2      setosa
17            5.4          3.9            1.3          0.4      setosa
25            4.8          3.4            1.9          0.2      setosa
75            6.4          2.9            4.3          1.3 versicolor
57            6.3          3.3            4.7          1.6 versicolor
65            5.6          2.9            3.6          1.3 versicolor
96            5.7          3.0            4.2          1.2 versicolor
.........
......
...
..
..


Netlik için rastgele bir orman eğitiyoruz, ancak bunun sinir ağlarınızın bir topluluğu olduğunu hayal edin.

eğitimli ....

Tahmini kurallar alıyoruz, yaklaşık 700 tane var

condition                                              pred        
  [ 1 ,] "X[,3]<=2.45"                                            "setosa"     
  [ 2 ,] "X[,3]>2.45 & X[,3]<=4.85"                              "versicolor"
  [ 3 ,] "X[,3]>2.45 & X[,3]<=4.85 & X[,4]<=1.6"                  "versicolor"
  [ 4 ,] "X[,4]>1.6"                                              "virginica" 
  [ 5 ,] "X[,3]>2.45 & X[,3]<=4.95 & X[,4]<=1.75"                "versicolor"
  [ 6 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
  [ 7 ,] "X[,3]>4.85 & X[,3]<=5.15 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
  [ 8 ,] "X[,4]>1.75"                                            "virginica" 
  [ 9 ,] "X[,3]>5.15"                                            "virginica" 
 [ 10 ,] "X[,3]<=2.45"                                            "setosa"     
 [ 11 ,] "X[,3]<=4.95 & X[,3]>2.45 & X[,4]<=1.65"                "versicolor"
 [ 12 ,] "X[,4]>1.65"                                            "virginica" 
 [ 13 ,] "X[,3]>4.85 & X[,4]>1.65"                                "virginica" 
 [ 14 ,] "X[,4]>1.9"                                              "virginica" 
 [ 15 ,] "X[,3]>4.95 & X[,4]<=1.65"                              "virginica" 
 [ 16 ,] "X[,3]>4.95 & X[,4]<=1.75 & X[,4]>1.65"                  "versicolor"
 [ 17 ,] "X[,3]>4.95"                                            "virginica" 
 [ 18 ,] "X[,4]<=0.8"                                            "setosa"     
 [ 19 ,] "X[,3]<=4.75 & X[,4]>0.8"                                "versicolor"
 [ 20 ,] "X[,3]>4.75 & X[,3]<=5 & X[,4]<=1.7"                    "versicolor"
 [ 21 ,] "X[,3]>5 & X[,4]<=1.55"                                  "virginica" 
 [ 22 ,] "X[,3]>4.75 & X[,3]<=5.45 & X[,4]<=1.7 & X[,4]>1.55"    "versicolor"
 [ 23 ,] "X[,3]>5.45"                                            "virginica" 
 [ 24 ,] "X[,4]>1.7"                                              "virginica" 
 [ 25 ,] "X[,3]<=5.05 & X[,4]>0.8 & X[,4]<=1.75"                  "versicolor"
 [ 26 ,] "X[,3]>4.95"                                            "virginica" 
 [ 27 ,] "X[,2]>2.6 & X[,3]<=5.05 & X[,3]>4.95"                  "versicolor"
 [ 28 ,] "X[,4]>1.75"                                            "virginica" 
 [ 29 ,] "X[,2]>3.1 & X[,3]<=5.05 & X[,4]>0.8"                    "versicolor"
 [ 30 ,] "X[,3]>5.05 & X[,4]<=1.55"                              "virginica" 
 [ 31 ,] "X[,2]<=2.85 & X[,3]>5.05 & X[,4]<=1.7 & X[,4]>1.55"    "versicolor"
 [ 32 ,] "X[,3]>5.05"                                            "virginica" 
 [ 33 ,] "X[,3]>5.05"                                            "virginica" 
 [ 34 ,] "X[,4]<=0.75"                                            "setosa"     
 [ 35 ,] "X[,3]<=4.95 & X[,4]>0.75 & X[,4]<=1.7"                  "versicolor"
 [ 36 ,] "X[,4]>1.7"                                              "virginica" 
 [ 37 ,] "X[,2]>3.1 & X[,3]<=4.95 & X[,4]>0.75"                  "versicolor"
 [ 38 ,] "X[,3]>4.95"                                            "virginica" 
 [ 39 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.7"                  "versicolor"
 [ 40 ,] "X[,4]>1.7"                                              "virginica" 
 [ 41 ,] "X[,3]>4.95"                                            "virginica" 
 [ 42 ,] "X[,4]<=0.7"                                            "setosa"     
 [ 43 ,] "X[,2]<=2.25 & X[,4]<=1.25"                              "versicolor"
 [ 44 ,] "X[,2]<=2.25"                                            "versicolor"
 [ 45 ,] "X[,2]>2.25 & X[,4]>0.7 & X[,4]<=1.75"                  "versicolor"
 [ 46 ,] "X[,3]>5.3"                                              "virginica" 
 [ 47 ,] "X[,4]>1.75"                                            "virginica" 
 [ 48 ,] "X[,3]>2.45 & X[,3]<=4.95 & X[,4]<=1.75"                "versicolor"
 [ 49 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 50 ,] "X[,3]>4.95 & X[,3]<=5.45 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
 [ 51 ,] "X[,3]>4.95"                                            "virginica" 
 [ 52 ,] "X[,4]>1.75"                                            "virginica" 
 [ 53 ,] "X[,2]>3 & X[,3]>2.45 & X[,3]<=4.85"                    "versicolor"
 [ 54 ,] "X[,4]>1.75"                                            "virginica" 
 [ 55 ,] "X[,3]<=4.85 & X[,4]>0.8 & X[,4]<=1.65"                  "versicolor"
 [ 56 ,] "X[,3]<=4.65 & X[,4]>1.65"                              "virginica" 
 [ 57 ,] "X[,4]>1.65"                                            "virginica" 
 [ 58 ,] "X[,3]<=5.3 & X[,4]<=1.75"                              "versicolor"
 [ 59 ,] "X[,2]>2.6 & X[,3]>4.85 & X[,3]<=5.3 & X[,4]<=1.75"      "versicolor"
 [ 60 ,] "X[,3]>5.3"                                              "virginica" 
 [ 61 ,] "X[,4]>1.75"                                            "virginica" 
 [ 62 ,] "X[,3]<=2.5"                                            "setosa"     
 [ 63 ,] "X[,3]>2.5 & X[,3]<=4.95 & X[,4]<=1.75"                  "versicolor"
 [ 64 ,] "X[,3]>4.95 & X[,3]<=5.05 & X[,4]<=1.65"                "virginica" 
 [ 65 ,] "X[,4]<=1.75"                                            "versicolor"
 [ 66 ,] "X[,3]<=4.75 & X[,4]>1.65"                              "virginica" 
 [ 67 ,] "X[,3]>4.75 & X[,4]<=1.75 & X[,4]>1.65"                  "versicolor"
 [ 68 ,] "X[,3]>5.35"                                            "virginica" 
 [ 69 ,] "X[,4]>1.75"                                            "virginica" 
 [ 70 ,] "X[,3]<=4.75 & X[,4]>0.7"                                "versicolor"
 [ 71 ,] "X[,4]>1.65"                                            "virginica" 
 [ 72 ,] "X[,3]>4.75 & X[,3]<=4.95 & X[,4]<=1.7"                  "versicolor"
 [ 73 ,] "X[,2]<=2.65 & X[,3]>4.95"                              "virginica" 
 [ 74 ,] "X[,2]<=2.75 & X[,2]>2.65 & X[,4]<=1.7"                  "versicolor"
 [ 75 ,] "X[,3]>4.75"                                            "virginica" 
 [ 76 ,] "X[,4]>1.7"                                              "virginica" 
 [ 77 ,] "X[,2]>3.1 & X[,3]>4.75 & X[,3]<=4.85"                  "versicolor"
 [ 78 ,] "X[,4]>1.7"                                              "virginica" 
 [ 79 ,] "X[,3]>2.45 & X[,3]<=5 & X[,4]<=1.65"                    "versicolor"
 [ 80 ,] "X[,4]<=1.65"                                            "versicolor"
 [ 81 ,] "X[,3]>5"                                                "virginica" 
 [ 82 ,] "X[,4]>1.65"                                            "virginica" 
 [ 83 ,] "X[,3]>2.45 & X[,3]<=5.05 & X[,4]<=1.75"                "versicolor"
 [ 84 ,] "X[,4]>1.75"                                            "virginica" 
 [ 85 ,] "X[,2]>3.1 & X[,3]>2.45 & X[,3]<=5.05"                  "versicolor"
 [ 86 ,] "X[,3]>5.05"                                            "virginica" 
 [ 87 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.65"                  "versicolor"
 [ 88 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 89 ,] "X[,3]<=5.45 & X[,4]<=1.65 & X[,4]>1.55"                "versicolor"
 [ 90 ,] "X[,3]>4.95"                                            "virginica" 
 [ 91 ,] "X[,4]>1.65"                                            "virginica" 
 [ 92 ,] "X[,4]>0.75 & X[,4]<=1.65"                              "versicolor"
 [ 93 ,] "X[,4]>1.65"                                            "virginica" 
 [ 94 ,] "X[,2]>3.1 & X[,3]<=4.85 & X[,4]>0.75"                  "versicolor"
 [ 95 ,] "X[,4]>1.65"                                            "virginica" 
 [ 96 ,] "X[,3]<=4.95 & X[,4]>0.8 & X[,4]<=1.75"                  "versicolor"
 [ 97 ,] "X[,3]<=4.95 & X[,4]<=1.75 & X[,4]>1.65"                "virginica" 
 [ 98 ,] "X[,3]>4.95 & X[,4]<=1.55"                              "virginica" 
 [ 99 ,] "X[,3]>4.95 & X[,3]<=5.45 & X[,4]<=1.75 & X[,4]>1.55"    "versicolor"
..........................
..............
.......
....
..

şimdi sihirli, bu 700 kuraldan 7'sini minimum kalite kaybıyla yapabilen bir algoritma var

learner[,-c( 1 : 3 )]
     condition                                pred        
[ 1 ,] "X[,3]<=2.45"                              "setosa"     
[ 2 ,] "X[,3]<=4.95 & X[,3]>2.45 & X[,4]<=1.65" "versicolor"
[ 3 ,] "X[,3]>4.95 & X[,4]>1.7"                  "virginica" 
[ 4 ,] "X[,2]<=3.1 & X[,3]<=4.95 & X[,4]>1.65"    "virginica" 
[ 5 ,] "X[,3]>4.95 & X[,4]<=1.55"                "virginica" 
[ 6 ,] "X[,3]<=5.3 & X[,4]<=1.75"                "versicolor"
[ 7 ,] "X[,1]==X[,1]"                            "versicolor"

700 kurallık rastgele ormanımızın tamamı bu (ağaçlar)

fena değil ? :)

 
mytarmailS :

Üzücü olan şu ki, kalıplar, kalıplar hakkında konuşuyorsunuz ve size piyasayı tam olarak neyin yönlendirdiğini soruyorsunuz ve söylemeyeceksiniz .. çünkü kalıp anlayışınız ağdan bir olasılık şeklinde bir yanıtla bitiyor .

Tüm çözümünüz, farklı veriler üzerinde yüzlerce ağ oluşturmak ve çıktılarını bir olasılık olarak analiz etmektir...

evet, bu doğru, gerçek bir pratik sonuç uğruna

Peki ya piyasayı anlar ve yasalarını anlarsanız?

ne için? belki hiç mümkün değildir

Sonra bir günlük. bir kural , tanımladığınız şeyi yüzlerce ağla tanımlayabilir

bu bir fantezi, bulutlarda uçmak

yukarıda cevaplandı...

 
Evgeny Dyuka :

yukarıda cevaplandı...

Sen yaz :

Evgeny Dyuka :

2. Uygulamada, benim yöntemimi kullanarak, sorulan soruların sadece yaklaşık %1'inde kabul edilebilir doğrulukta bir cevap alabilirsiniz. Basitçe söylemek gerekirse, her dakika mumda ağa "Fiyat 5 dakika içinde nerede olacak - daha yüksek veya daha düşük?" o zaman ağ 100'den sadece 1'inde yanıt verecektir.

Zhenya, bunun sebebinin verilerinin %99 çöp ve %1 faydalı bilgi içermesi olduğunu düşünmüyor musun, bu %1'in 1-3 günlük kuralıyla açıklanabileceğini düşünmüyor musun? hangisi bırakılmalı ve gerisi atılmalı

 
mytarmailS :

Sen yaz :

Evgeny Dyuka :

2. Uygulamada, benim yöntemimi kullanarak, sorulan soruların sadece yaklaşık %1'inde kabul edilebilir doğrulukta bir cevap alabilirsiniz. Basitçe söylemek gerekirse, her dakika mumda ağa "Fiyat 5 dakika içinde nerede olacak - daha yüksek veya daha düşük?" o zaman ağ 100'den sadece 1'inde yanıt verecektir.

Zhenya, bunun sebebinin verilerinin %99 çöp ve %1 faydalı bilgi içermesi olduğunu düşünmüyor musun, bu %1'in 1-3 günlük kuralıyla açıklanabileceğini düşünmüyor musun? hangisi bırakılmalı ve gerisi atılmalı

Ne yazık ki, bu böyle değil.

Çöpün %99'u, incelediğimiz nesnenin ayrılmaz bir özelliğidir . O çok düzenli, bu onun doğası.
Herkes, henüz bulamadığımız, ancak kesinlikle bulacağımız, içinde uyum ve anlaşılır basit kurallara sahip olduğunu ummak ister. Bu kurallar mevcut değil. Felsefi olarak elbette var olabilirler ve var olurlar, her şeyin bir nedeni vardır, ancak bunlar bizim şu andaki ve gelecekteki yeteneklerimizin ötesindedir.

Bu %1 de basit kurallarla tanımlanmamıştır, buna ulaşmak için ağ 500.000 örnek üzerinde eğitilmiştir - bunlar açıkça zor kurallardır.

 
mytarmailS :

İşte bilgiyi nasıl sıkıştırabileceğinizin canlı bir örneği, benim yaptığım bir şey değil ama bu konsept için uğraşıyorum

Veri - Fisher'ın süsenleri


Netlik için rastgele bir orman eğitiyoruz, ancak bunun sinir ağlarınızın bir topluluğu olduğunu hayal edin.

eğitimli ....

Tahmini kurallar alıyoruz, yaklaşık 700 tane var

şimdi sihirli, bu 700 kuraldan 7'sini minimum kalite kaybıyla yapabilen bir algoritma var

700 kurallık rastgele ormanımızın tamamı bu (ağaçlar)

fena değil ? :)

150 veri satırını tanımlamak için (İris verilerinde bunlardan 150 tanesi vardır), maksimum 150 kural gerekir (tüm satırlar benzersizse).
700'ü nereden buldun?

 
elibrarius :

150 veri satırını tanımlamak için (İris verilerinde bunlardan 150 tanesi vardır), maksimum 150 kural gerekir (tüm satırlar benzersizse).
700'ü nereden buldun?

Orman paketi tam olarak nasıl çalışıyor bilmiyorum ama 100 ağaç ile yapılandırıldığında 400-700 kural oluşturuyor, büyük ihtimalle her dalı bir kural olarak kabul ediyor.

Evgeny Dyuka'nın fotoğrafı.
Ne yazık ki, bu böyle değil.

Çöpün %99'u, incelediğimiz nesnenin ayrılmaz bir özelliğidir . O çok düzenli, bu onun doğası.
Herkes, henüz bulamadığımız, ancak kesinlikle bulacağımız, içinde uyum ve anlaşılır basit kurallara sahip olduğunu ummak ister. Bu kurallar yok. Felsefi olarak elbette var olabilirler ve var olurlar, her şeyin bir nedeni vardır, ancak bunlar bizim şu andaki ve gelecekteki yeteneklerimizin ötesindedir.

Bu %1 de basit kurallarla tanımlanmamıştır, buna ulaşmak için ağ 500.000 örnek üzerinde eğitilmiştir - bunlar açıkça zor kurallardır.

xs..

 
mytarmailS :

700 kurallık rastgele ormanımızın tamamı bu (ağaçlar)

fena değil ? :)

Yaprak küçültme prensibi nedir? Benzerliğe göre gruplandırma ve gruptan en iyi seçeneği seçme?

 
mytarmailS :

Orman paketi tam olarak nasıl çalışıyor bilmiyorum ama 100 ağaç ile yapılandırıldığında 400-700 kural oluşturuyor, büyük ihtimalle her dalı bir kural olarak kabul ediyor.

xs..

Görünüşe göre 700 toplam 100 ağaç.

Bir ağaç inşa ederseniz, sihir olarak kabul ettiğiniz aynı 7 kuralı elde edersiniz))

İşte 1 ağacın bana süsen için verdiği şey (Doğruluk %96 veya 150 örnekten 6'sı hata)


 if(x[3]<1.800000){
  if(x[3]<1.000000){v[0]=1.000000;v[1]=0.000000;v[2]=0.000000;s=50;}
  else{
   if(x[2]<4.700000){
    if(x[2]<4.500000){v[0]=0.000000;v[1]=1.000000;v[2]=0.000000;s=29;}
    else{v[0]=0.000000;v[1]=0.909091;v[2]=0.090909;s=11;}}
   else{v[0]=0.000000;v[1]=0.714286;v[2]=0.285714;s=14;}}}
 else{
  if(x[0]<6.300000){v[0]=0.000000;v[1]=0.090909;v[2]=0.909091;s=11;}
  else{v[0]=0.000000;v[1]=0.000000;v[2]=1.000000;s=35;}}