Bir mayın tarlasında pazar görgü kuralları veya görgü kuralları - sayfa 81

 
Böyle bir yuvarlama ile dağıtımda unutmayın, sıfıra eşit değer sayısını 2'ye bölün.
 
Evet, anlıyorum (+/-0)
 
Neutron >> :

Gerçek şu ki, aynı eğitim örneği için değil, her döngüde birer sayımla sırayla değişen istatistikler topluyorum. Bu nedenle, öğrenme çıktıları eşleşmemektedir. Neden yaptığımı hatırlamıyorum ama özü değiştirmiyor. Görünüşe göre, bu şekilde piyasadaki süreçlerin yarı durağanlığını yakalamak ve öğrenme oranına etkilerini yansıtmak istedim.

Aynı eğitim setinde (soldaki şekil) 10'dan fazla deneyin ortalamasını almak için sonuçların nasıl göründüğü aşağıda açıklanmıştır:

Sıfır başlatmalı ağırlıklar için istatistiksel bir yayılma olmadığı görülebilir.

Pirinç. sağda 12 girişli, gizli katmanda 5 nöron ve çıkışta 1 nöron ve 120 örneklik bir eğitim seti ile bir ağ mimarisi için inşa edilmiştir, yani. davanızı çoğaltır. İstatistikler, 50 bağımsız sayısal deneyden toplandı. Ayrıca her şey düzgün çalışıyor.

Hayır, açılış fiyatlarındaki ilk farkı girdi olarak kullandım (bağlamdan anlaşıldığını düşündüm). Ortalamanın sıfır olduğu açıktır. Bir sonraki farkın genliğini ve işaretini tahmin etti.

Teoreme gelince, beğendim. Ancak, özel bir durum olarak ağlarımızla bir ilişkisi var!

Sonsuzluğa meyleden eğitim örneğinin uzunluğu için dejenere bir durum kanıtladınız. Aslında, bu durumda, sıfır MO ile CV'yi temsil eden girdi verilerinin vektörü için sıfır ağırlık alacağız - entegre CV için yarın için en iyi tahmin bugünün mevcut değeridir! Ancak, eğitilen ağırlıklar hatanın karesini en aza indirerek dengeye gelme eğiliminde olduğundan, kişinin yalnızca sonlu uzunlukta bir eğitim örneği alması gerekir. Bu ifadeyi doğrulayan bir örnek olarak, SLAE (aynı NS) durumunu ele alalım. Bu durumda, ağırlıklar benzersiz olarak tanımlanır, eğitim setindeki öğrenme hatası aynı şekilde sıfıra eşittir (bilinmeyenlerin sayısı denklemlerin sayısına eşittir) ve ağırlıklar (bilinmeyenlerin katsayıları) açıkça eşit değildir. sıfıra.

Teoremim hakkındaki yorumunuza katılıyorum. Gerçekten de, eğitim örneğindeki kümelerin sayısını azaltmak, ağırlıkları sıfırdan saptıracaktır. Ancak, korelasyonu hesaplamak için sonsuz sayıda eğitim seti kullanmanıza gerek olmadığı için teoremin ağlara uygulanabilir olduğunu düşünüyorum. İstatistiksel ortalamalar R(m)=E{x[i]x[i+m]} mevcut verilerin toplamı(x[i]x[i+m]) olarak hesaplanır. Teorem, yalnızca bu toplamlar (korelasyonlar) sıfırdan önemli ölçüde farklı olduğunda ağın tahmin gücüne sahip olacağını göstermesi açısından önemlidir, aksi takdirde ağırlıklar sıfıra yakınsar. Bu nedenle girdiler ve çıktılar arasında sıfırdan farklı korelasyona sahip eğitim verilerinin bulunması çok önemlidir. Böyle bir korelasyonun küçük olduğu girdiler, ağa tahminlerde yardımcı olmayacağından atılabilir.

Grafiklerdeki öğrenme hatanız, anladığım kadarıyla 2'ye veya küme sayısına bölünmüyor. Doğru şekilde? Her şeyin düzgün çalıştığından emin olmak için girişinizi ağımda çalıştırmak istiyorum. Bunları ağın giriş ve çıkışlarına beslendiği formda bir dosyaya kaydedip buraya koyabilir misiniz? Veri miktarını azaltmak için 5-4-1 ağınızı 40 örnekle kullanabilirsiniz.

 

İnşaat kagi omuzlarının dağılımları ve farklı H için işlem sayısı


1. H = 1 (bir yayılma)


2. H = 4


3. H = 15


 
gpwr >> :

Teoremim hakkındaki yorumunuza katılıyorum. Gerçekten de, eğitim örneğindeki kümelerin sayısını azaltmak, ağırlıkları sıfırdan saptıracaktır. Ancak, korelasyonu hesaplamak için sonsuz sayıda eğitim seti kullanmanıza gerek olmadığı için teoremin ağlara uygulanabilir olduğunu düşünüyorum. İstatistiksel ortalamalar R(m)=E{x[i]x[i+m]} mevcut verilerin toplamı(x[i]x[i+m]) olarak hesaplanır. Teorem, yalnızca bu toplamlar (korelasyonlar) sıfırdan önemli ölçüde farklı olduğunda ağın tahmin gücüne sahip olacağını göstermesi açısından önemlidir, aksi takdirde ağırlıklar sıfıra yakınsar. Bu nedenle girdiler ve çıktılar arasında sıfırdan farklı korelasyona sahip eğitim verilerinin bulunması çok önemlidir. Böyle bir korelasyonun küçük olduğu girdiler, ağa tahminlerde yardımcı olmayacağından atılabilir.

Grafiklerdeki öğrenme hatanız, anladığım kadarıyla 2'ye veya küme sayısına bölünmüyor. Doğru şekilde? Her şeyin yolunda gittiğinden emin olmak için girişinizi ağımda çalıştırmak istiyorum. Bunları ağın giriş ve çıkışlarına beslendiği formda bir dosyaya kaydedip buraya koyabilir misiniz? Veri miktarını azaltmak için 5-4-1 ağınızı 40 örnekle kullanabilirsiniz.

Dönem sayısını 1000'e çıkardım ve ağırlık adımının hızla kaybolmaması için iProp+ parametrelerinde ince ayar yaptım. Ayrıca eğitim hatasının 2 * dönem sayısına bölünmesi de kaldırıldı. Neutron'a yakın daha hoş bir sonuç aldım. Rastgele ağırlıklarla öğrenme hatası, sıfır ağırlıklara göre 2-3 kat daha azdır, bu da girdiler ve çıktı arasında bir korelasyonun varlığını gösterir. Ama yine de 4. çağdan 70. çağa kadar bundan hoşlanmıyorum, öğrenme hatası pek değişmez. Öğrenme algoritmasını geliştirmemiz gerekiyor. Çoğu ticari NS paketi iProp+ kullanıyor olsa da bu algoritmaya güveniyorum. Geriye yavaş ve karmaşık makine öğrenimi ve BFGS kalıyor.


 
gpwr >> :

Teoremim hakkındaki yorumunuza katılıyorum.


Madem matematikle çok samimisin, neden piyasa VR'sinde ağ girişinin optimum boyutu hakkında bir teorem daha kanıtlamaya çalışmıyorsun (VR değil, birkaç kagi işlemi daha iyi) - bu gerçekten doğru şey!

 
paralocus >> :

Madem matematikle çok samimisin, neden piyasa VR'sinde ağ girişinin optimum boyutu hakkında bir teorem daha kanıtlamaya çalışmıyorsun (VR değil, birkaç kagi işlemi daha iyi) - bu gerçekten doğru şey!

Deneyeceğim.

 
gpwr писал(а) >>

Teoremim hakkındaki yorumunuza katılıyorum. Gerçekten de, eğitim örneğindeki kümelerin sayısını azaltmak, ağırlıkları sıfırdan saptıracaktır. Ancak, korelasyonu hesaplamak için sonsuz sayıda eğitim seti kullanmanıza gerek olmadığı için teoremin ağlara uygulanabilir olduğunu düşünüyorum. İstatistiksel ortalamalar R(m)=E{x[i]x[i+m]} mevcut verilerin toplamı(x[i]x[i+m]) olarak hesaplanır. Teorem, yalnızca bu toplamlar (korelasyonlar) sıfırdan önemli ölçüde farklı olduğunda ağın tahmin gücüne sahip olacağını göstermesi açısından önemlidir, aksi takdirde ağırlıklar sıfıra yakınsar. Bu nedenle girdiler ve çıktılar arasında sıfırdan farklı korelasyona sahip eğitim verilerinin bulunması çok önemlidir. Böyle bir korelasyonun küçük olduğu girdiler, ağa tahminlerde yardımcı olmayacağından atılabilir.

Ayrıca okumalar arasında doğrusal olmayan bir korelasyon vardır. Sadece iki katmanlı doğrusal olmayan bir NN tarafından yakalanır ve limit teoremini kanıtladığınız doğrusal bir ayırıcı tarafından yakalanmaz.

Grafiklerdeki öğrenme hatanız, anladığım kadarıyla 2'ye veya küme sayısına bölünmüyor. Doğru şekilde? Her şeyin yolunda gittiğinden emin olmak için girişinizi ağımda çalıştırmak istiyorum. Bunları ağın giriş ve çıkışlarına beslendiği formda bir dosyaya kaydedip buraya koyabilir misiniz? Veri miktarını azaltmak için 5-4-1 ağınızı 40 örnekle kullanabilirsiniz.

Kullandığım girdi dosyası aşağıdadır.

Dosyalar:
dif.zip  14 kb
 
Neutron >> :

Ayrıca okumalar arasında doğrusal olmayan bir korelasyon vardır. Sadece iki katmanlı doğrusal olmayan bir NN tarafından yakalanır ve limit teoremini kanıtladığınız doğrusal bir ayırıcı tarafından yakalanmaz.

Kullandığım girdi dosyası aşağıdadır.

Teşekkür ederim. Doğrusal olmayan korelasyon hakkında söylenecek çok şey var. Bununla ilgili düşüncelerimi biraz sonra yazacağım. Bu arada, "kız - swots" hakkındaki ilginç sonucun ilgimi çekti. Yetersiz eğitimli ağın ("kız bir üçlüdür") örnek dışı veriler üzerinde daha doğru tahminler göstermesi beni endişelendiriyor. Öğrenilmemiş durumun varyansı, öğrenilmiş durumun varyansından çok daha büyüktür. Ve öğrenilen durum entropinin küresel minimumuysa (hatanın karesi), o zaman böyle bir durumun varyansı sıfırdır, çünkü yalnızca bir küresel minimum vardır. Ağın birçok farklı teslim edilmemiş durumu olduğundan, aynı girdi verileri için birçok farklı tahmin olacaktır. Bunu tablolarınızda görebilirsiniz. Genel olarak, ilginç ama endişe verici bir sonuç.

 

Burada tam bir anlayışa sahip değilim.

Açıklamaya göre ( Aleksandr Aleksandrovich Ezhov , Sergey Aleksandrovich Shumsky "Nörobilgisayar" ), genelleme hatasının en aza indirildiği bir optimal uzunluk vardır Popt=w^2/d , burada d NN girişinin boyutudur, w ise NN'nin tüm yapılandırılabilir parametrelerinin sayısı. Dolayısıyla, bu bakış açısından, sinir ağının P<Popt'u eğitim örneğini "hatırlıyorsa" sinir ağı aşırı eğitilmiştir. P>Popt varyantı da iyi değil, çünkü daha uzun bir süre boyunca, okumalar arasındaki korelasyonlarda bir azalmaya eşdeğer olan piyasa eğiliminde bir değişiklik olasılığı daha yüksektir.

Öte yandan, NN, fazla tahmin edilen sayıda eğitim döneminde "sürüklenebilir" ve sonuç olarak, genelleme hatası yeniden büyümeye başlayacak veya sürüklenmeyecektir ... Genel olarak, burada sayısal işlem yapmanız gerekir. kendi içinde çok kaynak gerektiren bir dizi istatistikle deneyler! Ancak, yapılması gerekiyor. Durumu önemli ölçüde kolaylaştırın, eğitim vektörünün optimal uzunluğu için yukarıdaki koşulların kanıtı. gpwr , tamir etme arzunuz var mı?