신경망 및 입력 - 페이지 10

 
Figar0 :
NS는 복잡합니다.

1) 모든 사람이 입구에 "도달"합니다(누군가는 입구를 통과하여 회색 공으로 이동합니다).

2) 일부는 출구에 대해 생각하고 네트워크 작업, 유형 및 아키텍처를 선택합니다.

3) 네트워크 교육에 심각하게 "폭락"합니다.

그리고 국회에는 부차적인 것이 없으니 결과가 없다.


  1. 나는 따옴표와 칠면조의 증가에서 FFT 변환 및 스펙트럼 구성 요소의 공급에 이르기까지 다양한 방식으로 입력을 정렬했습니다. 훈련된 Kohonen 카드 에서 서빙을 시도했습니다.
  2. 아키텍처는 쌍곡선 탄젠트 활성화 기능을 가진 다층 페셉트론입니다.
  3. 간단한 Back Prop 에서 Hessassian의 정확한 계산이 포함Levenberg - Marquardt 알고리즘 까지 다양한 알고리즘 .
 
TimeMaster :
  1. 간단한 Back Prop 에서 Hessassian의 정확한 계산이 포함Levenberg - Marquardt 알고리즘 까지 다양한 알고리즘 .
학습 알고리즘은 적어도 유전자 알고리즘은 세 번 신경 쓰지 않습니다)
 
TheXpert :
학습 알고리즘은 적어도 유전자 알고리즘은 세 번 신경 쓰지 않습니다)


동의한다. 유일한 차이점은 학습 속도입니다. 나는 MSE에서 소수점 이하 6-7자리를 "잡는" 점을 찾지 못해서 세 개의 샘플이 있는 간단한 Back Prop을 자주 사용합니다. 교육, 유효 및 테스트. 다른 방법으로 유효한 것을 선택합니다. 시간 간격에 따라 훈련 직후에 유효한 것이 선택되거나 훈련 샘플에서 예제를 제거하여 각각 훈련에서 예제를 무작위로 "가져옵니다".
 

유전자 알고리즘에 대해 ...

10,000개 이상의 시냅스가 있는 신경망에서 사용할 때의 "이점"을 보기는 어렵습니다. 약 10000 * 1000 개인의 인구가 필요하며 이는 속도 측면에서 "버즈"가 아닙니다. 시대를 말하는게 아니라...

 

예를 들어 5 또는 6 또는 7이 아닌 2*2 =4 인 네트워크를 훈련하려는 경우입니다. 그러면 나 자신도 그녀에게 무엇을 가르쳐야 하는지 분명히 이해해야 합니다 . 그리고 때로는 2*2=4, 때로는 5...

문제 진술은 일반적으로 중요합니다. 내가 원하는 것? 등.


시장의 변화를 감안할 때 "2 * 2"가 항상 4와 같지는 않습니다. 즉, 이것이 문제입니다. 시장이 변하고 조건이 변합니다. 훈련 샘플에 충돌하는 데이터가 포함되기 시작합니다. 네트워크는 학습하지 않습니다. 현재 상태만 "캡처"하기 위해 샘플을 줄이면 샘플 자체의 크기에 부딪히게 됩니다. 이는 다소 방대한 신경망을 훈련시키기에 작습니다. 재교육이 있습니다. 간단한 신경망 을 사용하는 것도 옵션이 아닙니다. 유용한 데이터(입력)가 작기 때문에 입력에 유용한 데이터를 "밀어넣는" 것은 매우 어렵습니다.
 
TimeMaster :

유전자 알고리즘에 대해 ...

10,000개 이상의 시냅스가 있는 신경망에서 사용할 때의 "이점"을 보기는 어렵습니다. 약 10000 * 1000 개인의 인구가 필요하며 이는 속도 측면에서 "버즈"가 아닙니다. 시대를 말하는게 아니라...

작년에 나는 올빼미 내부의 4-ke 유전 최적화에 대해 썼습니다. Hochma의 경우 0...200 범위에서 88개의 입력 매개변수를 입력했습니다. 2주 ~20분(P-4 3GHz, 2GB)에 15분 훈련. 나는 배수 장치를 얻었습니다. 전략은 없었고 실험 만했습니다. 관심이 있다면 알려드릴 수 있습니다.

 
icas :

작년에 나는 올빼미 내부의 4-ke 유전 최적화에 대해 썼습니다. Hochma의 경우 0...200 범위에서 88개의 입력 매개변수를 입력했습니다. 2주 ~20분(P-4 3GHz, 2GB)에 15분 훈련. 나는 배수 장치를 얻었습니다. 전략은 없었고 실험 만했습니다. 관심이 있다면 알려드릴 수 있습니다.


그리고 10000개의 입력 매개변수가 있는 경우 최선의 방법으로 작업은 각각 10000/88배 ~ 20min * 100 = 2000min .... 더 복잡해집니다.

대략 하루 반 정도...

유전 법칙에 따르면 수십억 년이 지나면 거울에 비친 자신을 볼 수 있습니다. :-)

 
solar :
그렇기 때문에 데이터 수집, 데이터 준비, 노이즈 화이트닝, 정규화 등을 수행해야 합니다. 이것이 시장의 비정상성이 싸우는 방식입니다. (이론에 의하면 ))) )


뉴스의 데이터 수집이 연구되었으며 "좋은"따옴표의 기록을 다운로드 할 수있는 방법과 장소가 있습니다.

데이터 준비도 잘 공부했습니다. 입력 벡터에서 각 크기에 복콕스 변환을 적용해도 데이터 불일치 문제가 제거되지 않는다고 말할 수 있습니다.

소음은 더 어렵습니다. 여기에서 예측하는 간격이 중요합니다. 몇 주와 관련하여 몇 분은 자연스럽게 "소음이 발생"하지만 15분에서 몇 시간 - 파헤쳐야 합니다...

정규화도 사소한 문제입니다.

 
TimeMaster :

유전자 알고리즘은... 10,000개 이상의 시냅스가 있는 신경망에서 사용하면 '효익'을 보기 어렵다. 약 10000 * 1000 개인의 인구가 필요하며 이는 속도 측면에서 "버즈"가 아닙니다. 시대를 말하는게 아니라...

10,000개의 시냅스? IMHO 이것은 심각한 흉상입니다. 저는 최대 약 500-700을 사용했습니다. 더 이상 필요하지 않았습니다. 그건 그렇고, 나는 NS에게 정확히 GA를 가르칩니다. 네, 천천히 하지만 저에게 더 편리하고 장점이 있습니다.
타임 마스터 :

시장의 변화를 감안할 때 "2 * 2"가 항상 4와 같지는 않습니다. 즉, 이것이 문제입니다. 시장이 변하고 조건이 변합니다. 훈련 샘플에 충돌하는 데이터가 포함되기 시작합니다. 네트워크는 학습하지 않습니다. 현재 상태만 "캡처"하기 위해 샘플을 줄이면 샘플 자체의 크기에 부딪히게 됩니다. 이는 다소 방대한 신경망을 훈련시키기에 작습니다.

2*2는 항상 4가 아니다? 예를 들어 70%의 경우에서 2 * 2 = 4이면 충분하고 2 * 2가 4와 같지 않은 나머지 30%는 필터링하지도 않습니다. 네트워크 자체는 이것으로 훌륭한 작업을 수행합니다 ... 50 %의 경우 2 * 2가 4와 같으면 입력과 같이 무언가를 변경하려고 시도해야합니다 .... 표현할 아이디어가 있다고 생각합니다. )

이카스 :

작년에 나는 올빼미 내부의 4-ke 유전 최적화에 대해 썼습니다. Hochma의 경우 0...200 범위에서 88개의 입력 매개변수를 입력했습니다. 2주 ~20분(P-4 3GHz, 2GB)에 15분 훈련. 나는 배수 장치를 얻었습니다. 전략은 없었고 실험 만했습니다. 관심이 있다면 알려드릴 수 있습니다.

물론 흥미롭습니다.
 
Figar0 :
10,000개의 시냅스? IMHO 이것은 심각한 흉상입니다. 저는 최대 약 500-700을 사용했습니다. 더 이상 필요하지 않았습니다. 그건 그렇고, 나는 NS에게 정확히 GA를 가르칩니다. 네, 천천히 하지만 저에게 더 편리하고 장점이 있습니다.

2*2는 항상 4가 아니다? 예를 들어 70%의 경우에서 2 * 2 = 4이면 충분하고 2 * 2가 4와 같지 않은 나머지 30%는 필터링하지도 않습니다. 네트워크 자체는 이것으로 훌륭한 작업을 수행합니다 ... 50 %의 경우 2 * 2가 4와 같으면 입력과 같이 무언가를 변경하려고 시도해야합니다 .... 표현할 아이디어가 있다고 생각합니다. )

물론 흥미롭습니다.

2*2가 4가 아닌 경우의 예를 들어주실 수 있습니까?

문헌에서 이것을 자주 읽었지만 불행히도 거기에 주어진 예가 없었습니다.