"Somut" bir girdinin Ulusal Meclis çalışmalarına katkısı pratik olarak nasıl değerlendirilir? - sayfa 3

 
alexeymosc :
Bir de tam tersi durum var: Teorik olarak yüksek bilgi içerikli iki girdi ve düşük bilgi içerikli bir girdi olması mümkündür. Mantıksal olarak, üçüncüyü kaldırmak istiyorum, ancak onu kaldırırsak, karmaşık dörtlü ilişki (üç girdi - çıktı) çökecek ve kalan iki girdi artık o kadar bilgilendirici olmayacak.

Bu yüzden, tabiri caizse hazır bir örnek üzerinde yapıyorum ve NN'nin çalışmasının sonucunda hem eğitim örneğinde hem de dışında hemen bir değişiklik görüyorum. Bir şey çökerse, nihai sonucu etkilemelidir. Bir girdi kaldırıldı - bozulma yok, diğer girdi kaldırıldı, nihai sonucun %1'inden daha az bir bozulma var, 3. girdi kaldırıldığında %10'luk bir bozulma var. Ardından 2 giriş, 3 giriş vb. kombinasyonlarla aynı.

Bu olay üzerinde sadece birkaç saattir çalışıyorum, ancak zaten başka bir girdiyi (bir hatanın sonucu olarak) tamamen kopyalayan sahte bir girdi buldum, etkisi genellikle yüzde onda biri kadar olan 2 girdi. Bu 3 girdiye kesinlikle gerek olmadığını düşünüyorum.

Ayrıca, hariç tutulması sonucu daha da kötüleştirmeyen, anlaşılabilir, ancak beklenmedik olan iyileşen 2 girdi buldum. Onlarla daha fazla denemeniz gerekiyor, girdiler açıkça boş değil, sonuç üzerindeki etkileri, aksi yönde olsa bile bundan bahsediyor.

Tartışmaya katılan herkese teşekkürler, gerçekten mantıklı tavsiyeler aldım.

 
Figar0 :

Bu yüzden, tabiri caizse hazır bir örnek üzerinde yapıyorum ve NN'nin çalışmasının sonucunda hem eğitim örneğinde hem de dışında hemen bir değişiklik görüyorum. Bir şey çökerse, nihai sonucu etkilemelidir. Bir girdi kaldırıldı - bozulma yok, diğer girdi kaldırıldı, nihai sonucun %1'inden daha az bir bozulma var, 3. girdi kaldırıldığında %10'luk bir bozulma var. Ardından 2 giriş, 3 giriş vb. kombinasyonlarla aynı.


Bu, girdileri seçmenin en güvenilir yoludur - kaba kuvvet. Zor ama dürüst. İyi şanlar!
 

20 giriş için temiz bir arama, 2^20 kombinasyon sırasına göre bir şeydir, yani. milyon.

Yine bilgi teorisi geliyor aklıma ama hiçbir şey tavsiye etmeyeceğim.

 
Mathemat :

20 giriş için temiz bir arama, 2^20 kombinasyon sırasına göre bir şeydir, yani. milyon.

Sonuçta, "buradan öğle yemeğine kadar" veya "sıkılana kadar" diye sıralayabilirsiniz ...
Ve sonra - genetik kontrol ... çalıştırın.
 

Belirli bir girdinin "işe yaramazlığını" belirleyebilirsiniz. Bir nöronun ağırlık değeri 0'a ne kadar yakınsa, o kadar "gereksiz" olur. Aslında nöronun değeri 0 ile çarpılır ve içinde ne varsa sonuç 0 olur yani hiç girdi yoktur.

Böyle gereksiz bir nörona sahip olmanın en olumsuz yanı, eğitim süresinin makul olmayan bir şekilde artmasıdır.

Ancak, bu tür "gereksiz" nöronlar, yalnızca ızgaranın giriş katmanında değil, genel olarak herhangi bir katmanında da görünebilir.

Deneme eğitiminden sonra gereksiz nöronları arama sürecini otomatikleştirmek mümkündür - nöronun ağırlığının modulo değerini alın ve değer belirli bir eşik değerinden küçükse, onu sıfırlayın. Ardından, hangi nöronların 0 değerinde ağırlığa sahip olduğunu analiz etmeniz ve bunları ağdan çıkarmanız gerekir ve yeniden eğitim - eğitim önemli ölçüde hızlanacak ve sonuç aynı olacaktır. Ve elbette, daha sonra böyle inceltilmiş bir ızgara kullanın.

 
joo :

Belirli bir girdinin "yararsızlığını" belirlemek mümkündür. Bir nöronun ağırlığı 0'a ne kadar yakınsa, o kadar "gereksiz" olur. Aslında nöronun değeri 0 ile çarpılır ve içinde ne varsa sonuç 0 olur yani hiç girdi yoktur.


Bu doğru. ama giriş sinyali nereden geldi, her zaman sıfıra eşit mi? bu olamaz.

büyük olasılıkla, bu durumda diğer sinyallere kıyasla ölçülemeyecek kadar küçük bir sinyalden bahsediyoruz. bu, sinyal azaltma ile kolayca düzeltilir.

CCİ'den gelen sinyal, OsMA'dan gelen sinyalden milyonlarca kat daha büyük olacaktır. bu sinyaller kıyaslanamaz ve tek bir ölçeğe indirgenmeden kullanılamaz.

 
joo :


Ancak, bu tür "gereksiz" nöronlar, yalnızca ızgaranın giriş katmanında değil, genel olarak herhangi bir katmanında da görünebilir.


nöronlardaki dönüşümler doğrusal değilse bu gerçekleşemez.
 
mersi :

Bu doğru. ama giriş sinyali nereden geldi, her zaman sıfıra eşit mi? bu olamaz.

büyük olasılıkla, bu durumda diğer sinyallere kıyasla ölçülemeyecek kadar küçük bir sinyalden bahsediyoruz. bu, sinyal azaltma ile kolayca düzeltilir.

CCİ'den gelen sinyal, OsMA'dan gelen sinyalden milyonlarca kat daha büyük olacaktır. bu sinyaller kıyaslanamaz ve tek bir ölçeğe indirgenmeden kullanılamaz.

Tüm nöronların ağ sinyallerini "Babamız" gibi ağı beslemeye uygun tek bir aralığa getirmesini (ölçeklendirmesini) düşündüm, ama gördüğüm gibi yanılmışım. :)

Böylece, sinyaller ölçeklenir ve örneğin [-1.0;1.0] aralığında değişir. Ancak giriş nöronlarından birinin ağırlığı 0'dır. Bu ne anlama geliyor? - bu, şebekenin bu nöronun girişte hangi değere sahip olduğuyla ilgilenmediği, ağın sonucunun hiçbir şekilde bu girişe bağlı olmadığı anlamına gelir.

mersi :
nöronlardaki dönüşümler doğrusal değilse bu gerçekleşemez.

Çok iyi olabilir. Ve bu genellikle, iç katmanlarda sorunu çözmek için gerekenden daha fazla nöron olduğunda olur.

 
joo :

Tüm nöronların ağın sinyallerini "Babamız" gibi ağı beslemeye uygun tek bir aralığa getirmesini (ölçeklendirmesini) düşündüm, ama gördüğüm gibi yanılmışım. :)

Böylece sinyaller ölçeklenir ve örneğin [-1.0;1.0] aralığında değişir. Ancak giriş nöronlarından birinin ağırlığı 0'dır. Bu ne anlama geliyor? - bu, şebekenin bu nöronun girişte hangi değere sahip olduğuyla ilgilenmediği , ağın sonucunun hiçbir şekilde bu girişe bağlı olmadığı anlamına gelir.

Çok iyi olabilir. Ve bu genellikle , iç katmanlarda sorunu çözmek için gerekenden daha fazla nöron olduğunda olur.

İlk bakışta, bu ifade yanlış görünmüyor.

Bununla birlikte, Xi girişi aynı anda birden fazla nöronu besler ve tüm sinapslarının mutlaka sıfır olması gerekmez, bu nedenle Xi girişinin silinmesi ağın çıkışını tamamen değiştirecektir.

-------------

Ağda ne kadar çok nöron varsa, sinir ağının çözebileceği daha doğru ve karmaşık görevler.

NN geliştiricileri, kabul edilebilir bir eğitim süresi için sonucun yeterli doğruluğu nedeniyle ağdaki nöronların sayısını sınırlandırır, çünkü Ağı eğitmek için gereken dönem sayısı, nöron sayısıyla birlikte katlanarak büyür.

 
Figar0 :

Tam olarak Cuma değil, ama...

Bir NS var, herhangi biri, A={A1, A2, .... A20} girişi var. NN'yi eğitiyoruz ve tatmin edici bir sonuç alıyoruz. A1, A2, ... A20 girdisinin her bir elemanının bu sonuca katkısını pratik olarak nasıl değerlendiririz?

Aklıma gelen seçenekler:

1) Bir şekilde ağdan geçtiği elemanın tüm ağırlıklarını toplayın ve hesaplayın. Bunun nasıl yapılacağı tamamen açık değil, kendinizi ağın işleyişine sokmanız, bir yerde bir şekilde bazı katsayıları hesaplamanız vb.

2) Bir şekilde "sıfırlamaya" çalışın veya örneğin giriş vektörünün öğesini çevirin ve nihai sonucu nasıl etkilediğini görün. O durana kadar.

Ancak bu ikinci seçeneği uygulamadan önce danışmaya karar verdim. Belki birileri bu konu hakkında benden daha uzun düşündü? Kitapçık önerebilecek olan var mı?

Ekonometrik bağlamının dışında sağlam kanıta dayalı bir yaklaşım uygulamak, çocukça soruları gündeme getiriyor.

Regresyon yapmak:

kar \u003d c (1) * A0 + ... c (n) * A (n)

Bu regresyonun katsayılarını tahmin ediyoruz.

hemen alırız

belirli bir katsayının sıfıra eşit olma olasılığı. - bu girişi kaldır

birlikte alınan tüm katsayıların sıfır olasılığı

elipslerle korelasyon katsayısını elde ederiz

gereksiz girişler için test

cevapsız girişler için test

katsayıların değerinin kararlılığı için bir test yapıyoruz (değişikliklerinin rastgeleliğini değerlendiriyoruz)