귀하의 게시물에서 제 생각에는 정규화가 보기에 있는 작업보다 데이터에 더 의존한다는 것도 따릅니다.
두 번째 부분은 MA 증분과 시리즈 증분을 고려하고 있습니까?
글쎄, 일반적인 의미에서 훈련된 네트워크가 입력 데이터(각 개별 입력에 대해)에 둔감해야 한다는 것을 의미합니까? 아니면 입력 데이터를 다른 것으로 변경하고 네트워크가 계속 예측해야 합니까?
예, 데이터 분포에 대한 의존도는 훈련의 속도와 품질에 영향을 미칩니다. 즉, 정규화는 본질적으로 속도와 품질에 각각 영향을 미칩니다. 물론 두 번째 부분을 희생시키면서 완전히 다른 부분을 일부 데이터의 훈련된 신경망에 밀어넣는 것은 불가능하지만 같은 방식으로 분포를 아주 정확하게 설명합니다. 분포, 데이터 유형은 항상 동일하게 유지되어야 합니다. 그러나 프로세스를 정확히 특성화하는 한 가지 유형의 데이터로 네트워크를 훈련하고 동시에 이 프로세스를 정확하게 특성화하는 새로운 훈련된 네트워크에서 다른 데이터를 사용할 때 매우 다른 결과를 얻는다면 이는 각각 다음을 의미합니다. 신경망 앞에 잘못된 질문을 놓았을 가능성이 큽니다. 데이터는 첫째, 프로세스를 완전히 설명해야 하며, 둘째, 고품질 일반화 네트워크의 요구 사항 측면에서 적절할 이러한 일반화 오류를 줄이는 것이 필요합니다. 이 모든 것은 직관적인 수준에서 문자 그대로 발생합니다. 프로세스가 완전히 설명되어 있으면 데이터 유형을 선택하는 것은 쓸모가 없지만 올바른 네트워크에 대한 질문은 많은 가치가 있습니다.
초기 샘플: 출력은 입력과 상관 관계가 있습니다(가장 중요한 상관 관계). 오차=0.64.
차트에서: X 좌표 - 입력 데이터. Y - 필수 출력
선형 종속성을 제거합니다. 선형 관계를 찾기 위해 네트워크는 필요하지 않으며, 게다가 신경망의 결과를 악화시킵니다.
이것이 역상관된 데이터의 모습입니다.
또한 첫 번째 그래프에서 데이터 포인트의 밀도가 중앙에 집중되어 있고 가장자리를 따라 희박하다는 것이 분명했습니다.
저것. 중앙에 집중된 포인트는 네트워크 교육에 대한 주요 자극을 줄 것입니다. 더 정확하게는 오류의 중요성이 가장자리에 있는 데이터의 오류의 중요성을 초과합니다. 네트워크는 먼저 중앙에 있는 샘플의 기대치를 찾은 다음 최소 오류 조건을 관찰하면서 샘플 주위에 분포합니다.
따라서 도수 분포 함수는 동일하며 이는 오류의 중요성을 동일하게 하며 네트워크는 분포의 중심과 데이터 분포의 가장자리 모두에서 가장 작은 오류를 달성하기 위해 잘 정의된 인센티브를 갖습니다.
시그모이드 함수로 변환한 후 데이터 분포 함수는 입력 데이터와 출력 데이터가 거의 균등하게 분포됩니다.
변환된 데이터는 이렇게 생겼습니다. 이 데이터에서 네트워크가 훈련됩니다.
따라서 데이터 클라우드가 고르게 분산됩니다. 그러나 이러한 사전 처리를 네트워크에 최적이라고 부를 수 없는 몇 가지 뉘앙스가 있다는 점은 언급할 가치가 있습니다.
모든 변환은 되돌릴 수 있으며 자체 오류가 발생하지 않는다는 점도 주목할 가치가 있습니다.
네, 대칭 기능에 의해 활성화된 뉴런은 두 배 빠르게 학습합니다. 또한 학습 과정에서 일부 가중치는 0에 가까운 값을 취하여 작업에서 꺼집니다. S자형 FA가 있는 뉴런에서 "작동하는" 시냅스의 유효 수는 쌍곡선 시냅스보다 항상 적습니다. 이것은 좋지 않기 때문에 여전히 "죽은" 시냅스를 앞뒤로 운반해야 합니다.
Neutron писал(а)>> 네, 대칭 기능에 의해 활성화된 뉴런은 두 배 빠르게 학습합니다. 또한 학습 과정에서 일부 가중치는 0에 가까운 값을 취하여 작업에서 꺼집니다. S자형 FA가 있는 뉴런에서 "작동하는" 시냅스의 유효 수는 쌍곡선 시냅스보다 항상 적습니다. 이것은 좋지 않기 때문에 여전히 "죽은" 시냅스를 앞뒤로 운반해야 합니다.
간단한 변환만 하면 sigmoid에 대해 -1에서 1까지의 값을 얻을 수 있습니다. 복잡한 것은 없습니다.
귀하의 게시물에서 제 생각에는 정규화가 보기에 있는 작업보다 데이터에 더 의존한다는 것도 따릅니다.
두 번째 부분은 MA 증분과 시리즈 증분을 고려하고 있습니까?
글쎄, 일반적인 의미에서 훈련된 네트워크가 입력 데이터(각 개별 입력에 대해)에 둔감해야 한다는 것을 의미합니까? 아니면 입력 데이터를 다른 것으로 변경하고 네트워크가 계속 예측해야 합니까?
예, 데이터 분포에 대한 의존도는 훈련의 속도와 품질에 영향을 미칩니다. 즉, 정규화는 본질적으로 속도와 품질에 각각 영향을 미칩니다. 물론 두 번째 부분을 희생시키면서 완전히 다른 부분을 일부 데이터의 훈련된 신경망에 밀어넣는 것은 불가능하지만 같은 방식으로 분포를 아주 정확하게 설명합니다. 분포, 데이터 유형은 항상 동일하게 유지되어야 합니다. 그러나 프로세스를 정확히 특성화하는 한 가지 유형의 데이터로 네트워크를 훈련하고 동시에 이 프로세스를 정확하게 특성화하는 새로운 훈련된 네트워크에서 다른 데이터를 사용할 때 매우 다른 결과를 얻는다면 이는 각각 다음을 의미합니다. 신경망 앞에 잘못된 질문을 놓았을 가능성이 큽니다. 데이터는 첫째, 프로세스를 완전히 설명해야 하며, 둘째, 고품질 일반화 네트워크의 요구 사항 측면에서 적절할 이러한 일반화 오류를 줄이는 것이 필요합니다. 이 모든 것은 직관적인 수준에서 문자 그대로 발생합니다. 프로세스가 완전히 설명되어 있으면 데이터 유형을 선택하는 것은 쓸모가 없지만 올바른 네트워크에 대한 질문은 많은 가치가 있습니다.
전처리에 대한 몇 마디.
초기 샘플: 출력은 입력과 상관 관계가 있습니다(가장 중요한 상관 관계). 오차=0.64.
차트에서: X 좌표 - 입력 데이터. Y - 필수 출력
선형 종속성을 제거합니다. 선형 관계를 찾기 위해 네트워크는 필요하지 않으며, 게다가 신경망의 결과를 악화시킵니다.
이것이 역상관된 데이터의 모습입니다.
또한 첫 번째 그래프에서 데이터 포인트의 밀도가 중앙에 집중되어 있고 가장자리를 따라 희박하다는 것이 분명했습니다.
저것. 중앙에 집중된 포인트는 네트워크 교육에 대한 주요 자극을 줄 것입니다. 더 정확하게는 오류의 중요성이 가장자리에 있는 데이터의 오류의 중요성을 초과합니다. 네트워크는 먼저 중앙에 있는 샘플의 기대치를 찾은 다음 최소 오류 조건을 관찰하면서 샘플 주위에 분포합니다.
따라서 도수 분포 함수는 동일하며 이는 오류의 중요성을 동일하게 하며 네트워크는 분포의 중심과 데이터 분포의 가장자리 모두에서 가장 작은 오류를 달성하기 위해 잘 정의된 인센티브를 갖습니다.
시그모이드 함수로 변환한 후 데이터 분포 함수는 입력 데이터와 출력 데이터가 거의 균등하게 분포됩니다.
변환된 데이터는 이렇게 생겼습니다. 이 데이터에서 네트워크가 훈련됩니다.
따라서 데이터 클라우드가 고르게 분산됩니다. 그러나 이러한 사전 처리를 네트워크에 최적이라고 부를 수 없는 몇 가지 뉘앙스가 있다는 점은 언급할 가치가 있습니다.
모든 변환은 되돌릴 수 있으며 자체 오류가 발생하지 않는다는 점도 주목할 가치가 있습니다.
이 지점의 모든 방법(원칙적으로)이 규정되었습니다.
시그모이드 함수로 변환한 후 데이터 분포 함수는 입력 데이터와 출력 데이터가 거의 균등하게 분포됩니다.
StatBars, 이 절차는 자동입니까, 아니면 시그모이드 함수의 계수를 선택하기 위해 때때로 수동으로 수행해야 합니까?
StatBars, 이 절차는 자동입니까, 아니면 시그모이드 함수의 계수를 선택하기 위해 때때로 수동으로 수행해야 합니까?
지금은 계수를 선택해야 합니다 ... 하지만 자동화할 계획입니다 ... 이론상 분포를 근사하는 함수를 올바르게 선택하면 일반적으로 직사각형이 생깁니다.
분포기능영역만을 이용한 자동정렬인데 '미끄럽다'는 순간이 너무 많아서 포기하고 만다...
와- 저도 같은게 있습니다.
분석적 형태의 임의의 분포(직사각형)에서 원하는 분포(직사각형)를 얻는 방법을 Prival에게 물어볼 필요가 있습니다.
그리고 왜 쌍곡선 탄젠트가 아닌 시그모이드를 FA로 사용하고 있습니까? 장점은 표면에...
그리고 왜 쌍곡선 탄젠트가 아닌 시그모이드를 FA로 사용하고 있습니까? 장점은 표면에...
혜택에 대해 자세히 알아볼 수 있습니다.
네, 대칭 기능에 의해 활성화된 뉴런은 두 배 빠르게 학습합니다. 또한 학습 과정에서 일부 가중치는 0에 가까운 값을 취하여 작업에서 꺼집니다. S자형 FA가 있는 뉴런에서 "작동하는" 시냅스의 유효 수는 쌍곡선 시냅스보다 항상 적습니다. 이것은 좋지 않기 때문에 여전히 "죽은" 시냅스를 앞뒤로 운반해야 합니다.
간단한 변환만 하면 sigmoid에 대해 -1에서 1까지의 값을 얻을 수 있습니다. 복잡한 것은 없습니다.
예, 누가 그것에 대해 이의를 제기할 수 있습니까?
이것은 이미 "드레싱 바지의 기능"범주에 있습니다.
와- 저도 같은게 있습니다.
분석적 형태의 임의의 분포(직사각형)에서 원하는 분포(직사각형)를 얻는 방법을 Prival에게 물어볼 필요가 있습니다.
그리고 왜 쌍곡선 탄젠트가 아닌 시그모이드를 FA로 사용하고 있습니까? 장점은 표면에...
저는 힙탄만 사용합니다.