하이브리드 신경망. - 페이지 16

새 코멘트
 
알고 싶습니다!
 
gumgum >> :
나는 나를 알고 싶다!

에헴... 알 것 같아요 :) 처음 RPROp을 구현했을 때 오류가 커지기 시작하고 dEdW(그라디언트) 값이 +Inf로 충돌하는 상황을 만났습니다.

훈련 에포크의 수를 10-15로 제한하거나 코드에서 그라디언트의 상위 값에 대한 검사를 입력하면 다음 코드가 있습니다.


if (수학::Abs(this->dEdW[j][k][i]) < 10e-25)
{
this->dEdW[j][k][i] = 0;
}


이는 알고리즘이 로컬 최소값 영역에 빠졌거나 네트워크 재교육을 처리하고 있음을 의미합니다.

 
이해합니다. 훈련 세트의 모든 예제를 제출하고 각 dedw에 대해 합산을 계산합니다. 그런 다음 dedw를 훈련 횟수로 나눕니다. 예? 그래서 배치 모드가 작동합니까?
 
gumgum >> :
이해합니다. 훈련 세트의 모든 예제를 제출하고 각 dedw에 대해 합산을 계산합니다. 그런 다음 dedw를 훈련 횟수로 나눕니다. 예? 그래서 배치 모드가 작동합니까?

이 알고리즘의 단점은 이산적이라는 것입니다.

 
gumgum >> :
이해합니다. 훈련 세트의 모든 예제를 제출하고 각 dedw에 대해 합산을 계산합니다. 그런 다음 dedw를 훈련 횟수로 나눕니다. 예? 그래서 배치 모드가 작동합니까?

예, 단일 뉴런과 dEdW에 대한 로컬 그래디언트를 혼동하지 마십시오. dEdW에는 뉴런만큼 많은 로컬 그래디언트가 있습니다. 기능의 임계값을 고려하여 많은 시냅스 연결이 있습니다.

 
dentraf >> :

이 알고리즘의 단점은 이산적이라는 것입니다.

흠... 그리고 이산이란 무엇을 의미합니까? 이 알고리즘은 여러 가지 문제에 대해 어떤 기울기 방법보다 나쁘지 않습니다. 준 뉴턴 방법이나 LMA보다 열등합니다. 그러나 단순 그라디언트보다 빠르게 작동합니다.

 
rip >> :

흠... 그리고 이산이란 무엇을 의미합니까? 이 알고리즘은 여러 가지 문제에 대해 어떤 기울기 방법보다 나쁘지 않습니다. 준 뉴턴 방법이나 LMA보다 열등합니다. 그러나 단순 그라디언트보다 빠르게 작동합니다.

나는 속도에 대해 이야기하지 않았다.

 
신경망 - 이해할 수 있습니다. 어떻게 준비합니까? 어떤 데이터에서 작동합니까? 간격?
 
모두 감사합니다!
 
rip писал(а) >>

흠... 그리고 이산이란 무엇을 의미합니까? 이 알고리즘은 여러 가지 문제에 대해 어떤 기울기 방법보다 나쁘지 않습니다. 준 뉴턴 방법이나 LMA보다 열등합니다. 그러나 단순 그라디언트보다 빠르게 작동합니다.

quasi-Newtonian 및 LMA에서 더 자세히 가능합니다.

1...910111213141516171819202122
새 코멘트