스크립트 형태의 신경망 - 페이지 11

 

"층의 뉴런 변경"

레이어의 뉴런 수

1. 동일:

2. 기타:

a) 층에서 층으로의 양의 증가;

b) 층에서 층으로 양의 감소.

c) 증가(감소) 계수?

 
Neutron писал (а) >> 를 썼습니다.

입력 수와 훈련 샘플의 크기(패턴 수)의 곱은 NN 가중치의 제곱과 같아야 합니다.

이 숫자는 나를 조금 무서웠다. 이것은 일반적으로 정상 작동을 위한 최소량입니까 아니면 최적량입니까?

즉, 20개 값의 벡터를 입력으로 제공하고 총 50,000개 이상의 그러한 벡터가 있으면 가중치 네트워크에 최소한 Sqrt(20 * 50000) = 1000이 있어야 합니다. ? 권리?

 

Andy_Kon의 약간 의역된 질문입니다.

예에서 나는 파동의 원리에 따라 구성된 네트워크를 보았습니다. 예를 들어 20-50-10-1 또는 20-40-1입니다. 즉, 네트워크가 중간에 확장되고 있습니다. (은닉층에는 입력보다 몇 배 더 많은 뉴런이 있습니다)

내 그리드 테스트에서 은닉층에 뉴런이 많을수록 훈련이 더 원활하게 진행되고 결과가 출력에 번지는 것처럼 보인다는 결론에 도달했습니다. 예를 들어, 20-20-1이면 네트워크가 솔루션을 더 명확하게 찾고 출력 값이 명확한 것입니다.

예를 들어, 입력 뉴런의 수에 따라 은닉층에서 최적의 뉴런 수에 대한 몇 가지 이론 및 실제 원칙이 있는 경우.

고맙습니다.

 
Andy_Kon писал (а) >>

"층의 뉴런 변경"

레이어의 뉴런 수

1. 동일:

2. 기타:

a) 층에서 층으로의 양의 증가;

b) 층에서 층으로 양의 감소.

c) 증가(감소) 계수?

글쎄, 나는 하나의 숨겨진 레이어로 충분하다는 이론에 대한 링크를 제공했습니다.

따라서 위의 모든 문제는 자연스럽게 사라집니다. 비선형 주성분 방법을 사용하여 입력을 축소하거나 경쟁 계층과 함께 하이브리드 NN을 사용하기로 결정했다면 또 다른 문제이지만... 질문은 적절해야 합니다.

sergeev 는 (a) >> 를 썼습니다.

이 숫자는 나를 조금 무서웠다. 이것은 일반적으로 정상 작동을 위한 최소량입니까 아니면 최적량입니까?

즉, 20개 값의 벡터를 입력으로 제공하고 총 50,000개 이상의 그러한 벡터가 있으면 가중치 네트워크에 최소한 Sqrt(20 * 50000) = 1000이 있어야 합니다. ? 권리?

권리.

다음은 이 문제를 피상적으로(이해하기 쉽게) 고려한 Yezhov, Shumsky "Neurocomputing"의 책에 대한 링크입니다.

 
Andy_Kon писал (а) >>
패턴(패턴)의 수에 대한 네트워크의 차원 및 "계층화" 의존성은 무엇입니까?

1. 은닉층은 입력보다 1요소 이상 커야 합니다. 그렇지 않으면 은닉층에 대한 정보가 압축되어 결과를 얻는 데 전혀 도움이 되지 않습니다.

2. 조정 가능한 매개변수를 계산합니다. 매개변수 수가 패턴 수를 초과하면 네트워크가 과도하게 훈련될 위험이 있습니다. 더 많은 패턴이 있어야 합니다. 네트워크가 학습하는 동안 네트워크의 크기를 줄일 수 있습니다.

 
sergeev писал (а) >> 를 썼습니다.

Andy_Kon의 약간 의역된 질문입니다.

예에서 나는 파동의 원리에 따라 구성된 네트워크를 보았습니다. 예를 들어 20-50-10-1 또는 20-40-1입니다. 즉, 네트워크가 중간에 확장되고 있습니다. (은닉층에는 입력보다 몇 배 더 많은 뉴런이 있습니다)

내 그리드 테스트에서 은닉층에 뉴런이 많을수록 훈련이 더 원활하게 진행되고 결과가 출력에 번지는 것처럼 보인다는 결론에 도달했습니다. 예를 들어, 20-20-1이면 네트워크가 솔루션을 더 명확하게 찾고 출력 값이 명확한 것입니다.

예를 들어, 입력 뉴런의 수에 따라 은닉층에서 최적의 뉴런 수에 대한 몇 가지 이론 및 실제 원칙이 있는 경우.

고맙습니다.

그리고 더 나은 20-21-1

 
TheXpert писал (а) >>

그리고 더 나은 20-21-1

그건 그렇고, 나는 또한 은닉층에서 뉴런의 수가 입력의 배수가 아니라는 것을 알아차렸습니다. 무엇 때문에?

 
Neutron писал (а) >> 를 썼습니다.

글쎄, 나는 하나의 숨겨진 레이어로 충분하다는 이론에 대한 링크를 제공했습니다.

따라서 위의 모든 문제는 자연스럽게 사라집니다. 비선형 주성분 방법을 사용하여 입력을 축소하거나 경쟁 계층과 함께 하이브리드 NN을 사용하기로 결정했다면 또 다른 문제입니다. 하지만 질문은 적절해야 합니다.

그럼에도 불구하고 많은 문제가 5층 퍼셉트론으로 해결되며, 정리가 있다고 해서 3층 퍼셉트론이 만병통치약은 아닙니다.


5-6-6-2 네트나 3-ply 5-25-2 교체를 쓰는게 나을까요? 적절한 비선형성을 보장하기 위해 이러한 많은 수를 얻을 수 있습니다.

그건 그렇고, 당신은 XORa의 가장 수렴되는 아키텍처를 알고 있습니까?

 0 ----
 \     \
   0 ---- 0 --->
 /     /
0 ----

4개의 뉴런 중간 -- S자형

 
sergeev писал (а) >> 를 썼습니다.

그건 그렇고, 나는 또한 은닉층에서 뉴런의 수가 입력의 배수가 아니라는 것을 알아차렸습니다. 무엇 때문에?

내 연습에 따르면 입력에 가까울수록 더 좋고 21은 20 입력에 최적입니다.

 
TheXpert писал (а) >>

내 연습에 따르면 입력에 가까울수록 더 좋고 21은 20 입력에 최적입니다.


흠 .. 하지만 이 최적을 어떻게든 일반화할 수 있습니다. 그리고 약 5층과 3층도 흥미롭다. 이론은 어디에 있습니까?