alexeymosc : 반대 상황도 있습니다. 이론적으로 정보 내용이 많은 두 입력과 정보 내용이 낮은 입력이 있을 수 있습니다. 논리적으로 세 번째를 제거하고 싶지만 제거하면 복잡한 4중 관계(3개의 입력 - 출력)가 붕괴되고 나머지 두 개의 입력은 더 이상 유익하지 않습니다.
그래서 말하자면 기성품 예제에서 수행하고 훈련 샘플과 외부 모두에서 NN 작업 결과의 변화를 즉시 확인합니다. 무언가가 무너지면 최종 결과에 영향을 미쳐야 합니다. 하나의 입력 제거 - 열화 없음, 다른 입력 제거 최종 결과의 1% 미만 열화, 제거 세 번째 입력 제거 10% 열화. 그런 다음 2개의 입력, 3개의 입력 등의 조합과 동일합니다.
저는 이 이벤트에 대해 몇 시간 동안만 작업했지만 이미 다른 입력(오류의 결과)을 완전히 복제하는 더미 입력, 즉 2개의 입력을 찾았습니다. 이 입력의 영향은 일반적으로 최소 10분의 1%입니다. 이 3개의 입력은 확실히 필요하지 않다고 생각합니다.
그리고 나는 또한 2개의 입력을 찾았는데, 이를 제외해도 결과가 악화되지는 않았지만 이해할 수 있었지만 예상치 못한 개선이 이루어졌습니다. 당신은 그것들을 더 실험해야합니다. 입력은 분명히 비어 있지 않으며 결과에 미치는 영향은 반대 방향에서도 이것을 말합니다.
그래서 말하자면 기성품 예제에서 수행하고 훈련 샘플과 외부 모두에서 NN 작업 결과의 변화를 즉시 확인합니다. 무언가가 무너지면 최종 결과에 영향을 미쳐야 합니다. 하나의 입력 제거 - 열화 없음, 다른 입력 제거 최종 결과의 1% 미만 열화, 제거 세 번째 입력 제거 10% 열화. 그런 다음 2개의 입력, 3개의 입력 등의 조합과 동일합니다.
이것은 입력을 선택하는 가장 안정적인 방법인 무차별 대입입니다. 어렵지만 정직합니다. 행운을 빕니다!
특정 입력의 "쓸모없음"을 판별하는 것이 가능합니다. 뉴런의 가중치 값이 0에 가까울수록 "불필요"합니다. 사실 , 뉴런의 값에 0을 곱하면 그 안에 무엇이 있든 결과는 0이 됩니다. 즉 , 입력이 전혀 없습니다.
이러한 불필요한 뉴런을 갖는 것의 가장 부정적인 점은 부당하게 훈련 시간이 증가한다는 것입니다.
그러나 이러한 "불필요한" 뉴런은 그리드의 입력 레이어뿐만 아니라 일반적으로 모든 레이어에 나타날 수 있습니다.
시험 훈련 후 불필요한 뉴런을 검색하는 프로세스를 자동화하는 것이 가능합니다. 뉴런 가중치의 모듈로 값을 취하고 값이 지정된 임계값보다 작으면 널(null)로 설정합니다. 다음으로, 가중치가 0인 뉴런을 분석하고 네트워크에서 제외하고 재교육해야 합니다. 훈련 속도가 크게 빨라지고 결과가 동일합니다. 물론 나중에는 이러한 얇은 그리드를 사용하십시오.
이것은 사실입니다. 그러나 항상 0과 같은 입력 신호는 어디에서 왔습니까? 이것은 될 수 없습니다.
아마도 이 경우 우리는 다른 신호에 비해 비교할 수 없을 정도로 작은 신호에 대해 이야기하고 있습니다. 이것은 신호 감소로 쉽게 수정됩니다.
CCI의 신호는 OsMA의 신호보다 수백만 배 더 큽니다. 이러한 신호는 비교할 수 없으며 단일 척도로 축소하지 않고는 사용할 수 없습니다.
나는 모든 뉴런이 네트워크에 대한 신호를 하나의 범위로 가져오고(크기 조정) "우리 아버지"와 같이 네트워크에 공급하기에 적합하다고 생각했지만 내가 보기에는 틀렸습니다. :)
따라서 신호가 조정되고 [-1.0;1.0] 범위에서 변경됩니다. 그러나 입력 뉴런 중 하나의 가중치는 0입니다. 이것이 의미하는 바는 무엇입니까? - 이것은 그리드가 이 뉴런이 입력에서 어떤 값을 갖는지 신경 쓰지 않는다는 것을 의미하며, 네트워크의 결과는 어떤 식으로든 이 입력에 의존하지 않습니다.
메르시 : 뉴런의 변환이 비선형인 경우에는 발생할 수 없습니다.
아주 잘 될 수 있습니다. 그리고 이것은 문제를 해결하는 데 필요한 것보다 내부 레이어에 더 많은 뉴런이 있을 때 자주 발생합니다.
나는 모든 뉴런이 네트워크에 대한 신호를 하나의 범위로 가져오고(크기 조정) "우리 아버지"와 같이 네트워크에 공급하기에 적합하다고 생각했지만 내가 보기에 틀렸습니다. :)
따라서 신호가 조정되고 [-1.0;1.0] 범위에서 변경됩니다. 그러나 입력 뉴런 중 하나의 가중치는 0입니다. 이것이 의미하는 바는 무엇입니까? - 이것은 그리드가 이 뉴런이 입력에서 어떤 값을 갖는지 신경 쓰지 않는다는 것을 의미하며 , 네트워크의 결과는 어떤 식으로든 이 입력에 의존하지 않습니다.
아주 잘 될 수 있습니다. 그리고 이것은 문제를 해결하는 데 필요한 것보다 내부 레이어에 더 많은 뉴런이 있을 때 자주 발생합니다.
언뜻보기에이 진술은 거짓으로 보이지 않습니다.
그러나 입력 Xi는 여러 뉴런에 동시에 공급하고 모든 시냅스가 반드시 0일 필요는 없으므로 입력 Xi를 삭제하면 네트워크의 출력이 완전히 변경됩니다.
--------------
네트워크에 뉴런이 많을수록 신경망이 해결할 수 있는 작업이 더 정확하고 복잡해집니다.
NN의 개발자는 수용 가능한 훈련 시간 동안 결과의 정확성이 충분하다는 관점에서 네트워크의 뉴런 수를 제한합니다. 네트워크를 훈련하는 데 필요한 Epoch의 수는 뉴런의 수에 따라 기하급수적으로 증가합니다.
반대 상황도 있습니다. 이론적으로 정보 내용이 많은 두 입력과 정보 내용이 낮은 입력이 있을 수 있습니다. 논리적으로 세 번째를 제거하고 싶지만 제거하면 복잡한 4중 관계(3개의 입력 - 출력)가 붕괴되고 나머지 두 개의 입력은 더 이상 유익하지 않습니다.
그래서 말하자면 기성품 예제에서 수행하고 훈련 샘플과 외부 모두에서 NN 작업 결과의 변화를 즉시 확인합니다. 무언가가 무너지면 최종 결과에 영향을 미쳐야 합니다. 하나의 입력 제거 - 열화 없음, 다른 입력 제거 최종 결과의 1% 미만 열화, 제거 세 번째 입력 제거 10% 열화. 그런 다음 2개의 입력, 3개의 입력 등의 조합과 동일합니다.
저는 이 이벤트에 대해 몇 시간 동안만 작업했지만 이미 다른 입력(오류의 결과)을 완전히 복제하는 더미 입력, 즉 2개의 입력을 찾았습니다. 이 입력의 영향은 일반적으로 최소 10분의 1%입니다. 이 3개의 입력은 확실히 필요하지 않다고 생각합니다.
그리고 나는 또한 2개의 입력을 찾았는데, 이를 제외해도 결과가 악화되지는 않았지만 이해할 수 있었지만 예상치 못한 개선이 이루어졌습니다. 당신은 그것들을 더 실험해야합니다. 입력은 분명히 비어 있지 않으며 결과에 미치는 영향은 반대 방향에서도 이것을 말합니다.
토론에 참여해주신 모든 분들 덕분에 정말 현명한 조언을 얻었습니다.
그래서 말하자면 기성품 예제에서 수행하고 훈련 샘플과 외부 모두에서 NN 작업 결과의 변화를 즉시 확인합니다. 무언가가 무너지면 최종 결과에 영향을 미쳐야 합니다. 하나의 입력 제거 - 열화 없음, 다른 입력 제거 최종 결과의 1% 미만 열화, 제거 세 번째 입력 제거 10% 열화. 그런 다음 2개의 입력, 3개의 입력 등의 조합과 동일합니다.
20개의 입력에 대해 클린 검색은 2^20 조합 정도입니다. 백만.
다시, 정보 이론이 내 머리에 떠오른다. 그러나 나는 아무 것도 조언하지 않을 것이다.
20개의 입력에 대해 클린 검색은 2^20 조합 정도입니다. 백만.
그런 다음 - 유전학 제어 ... 실행합니다.
특정 입력의 "쓸모없음"을 판별하는 것이 가능합니다. 뉴런의 가중치 값이 0에 가까울수록 "불필요"합니다. 사실 , 뉴런의 값에 0을 곱하면 그 안에 무엇이 있든 결과는 0이 됩니다. 즉 , 입력이 전혀 없습니다.
이러한 불필요한 뉴런을 갖는 것의 가장 부정적인 점은 부당하게 훈련 시간이 증가한다는 것입니다.
그러나 이러한 "불필요한" 뉴런은 그리드의 입력 레이어뿐만 아니라 일반적으로 모든 레이어에 나타날 수 있습니다.
시험 훈련 후 불필요한 뉴런을 검색하는 프로세스를 자동화하는 것이 가능합니다. 뉴런 가중치의 모듈로 값을 취하고 값이 지정된 임계값보다 작으면 널(null)로 설정합니다. 다음으로, 가중치가 0인 뉴런을 분석하고 네트워크에서 제외하고 재교육해야 합니다. 훈련 속도가 크게 빨라지고 결과가 동일합니다. 물론 나중에는 이러한 얇은 그리드를 사용하십시오.
특정 입력의 "무익함"을 결정할 수 있습니다. 뉴런의 가중치 값이 0에 가까울수록 "불필요"합니다. 사실 , 뉴런의 값에 0을 곱하면 그 안에 무엇이 있든 결과는 0이 됩니다. 즉 , 입력이 전혀 없습니다.
이것은 사실입니다. 그러나 항상 0과 같은 입력 신호는 어디에서 왔습니까? 이것은 될 수 없습니다.
아마도 이 경우 우리는 다른 신호에 비해 비교할 수 없을 정도로 작은 신호에 대해 이야기하고 있습니다. 이것은 신호 감소로 쉽게 수정됩니다.
CCI의 신호는 OsMA의 신호보다 수백만 배 더 큽니다. 이러한 신호는 비교할 수 없으며 단일 척도로 축소하지 않고는 사용할 수 없습니다.
그러나 이러한 "불필요한" 뉴런은 그리드의 입력 레이어뿐만 아니라 일반적으로 모든 레이어에 나타날 수 있습니다.
이것은 사실입니다. 그러나 항상 0과 같은 입력 신호는 어디에서 왔습니까? 이것은 될 수 없습니다.
아마도 이 경우 우리는 다른 신호에 비해 비교할 수 없을 정도로 작은 신호에 대해 이야기하고 있습니다. 이것은 신호 감소로 쉽게 수정됩니다.
CCI의 신호는 OsMA의 신호보다 수백만 배 더 큽니다. 이러한 신호는 비교할 수 없으며 단일 척도로 축소하지 않고는 사용할 수 없습니다.
나는 모든 뉴런이 네트워크에 대한 신호를 하나의 범위로 가져오고(크기 조정) "우리 아버지"와 같이 네트워크에 공급하기에 적합하다고 생각했지만 내가 보기에는 틀렸습니다. :)
따라서 신호가 조정되고 [-1.0;1.0] 범위에서 변경됩니다. 그러나 입력 뉴런 중 하나의 가중치는 0입니다. 이것이 의미하는 바는 무엇입니까? - 이것은 그리드가 이 뉴런이 입력에서 어떤 값을 갖는지 신경 쓰지 않는다는 것을 의미하며, 네트워크의 결과는 어떤 식으로든 이 입력에 의존하지 않습니다.
뉴런의 변환이 비선형인 경우에는 발생할 수 없습니다.
아주 잘 될 수 있습니다. 그리고 이것은 문제를 해결하는 데 필요한 것보다 내부 레이어에 더 많은 뉴런이 있을 때 자주 발생합니다.
나는 모든 뉴런이 네트워크에 대한 신호를 하나의 범위로 가져오고(크기 조정) "우리 아버지"와 같이 네트워크에 공급하기에 적합하다고 생각했지만 내가 보기에 틀렸습니다. :)
따라서 신호가 조정되고 [-1.0;1.0] 범위에서 변경됩니다. 그러나 입력 뉴런 중 하나의 가중치는 0입니다. 이것이 의미하는 바는 무엇입니까? - 이것은 그리드가 이 뉴런이 입력에서 어떤 값을 갖는지 신경 쓰지 않는다는 것을 의미하며 , 네트워크의 결과는 어떤 식으로든 이 입력에 의존하지 않습니다.
아주 잘 될 수 있습니다. 그리고 이것은 문제를 해결하는 데 필요한 것보다 내부 레이어에 더 많은 뉴런이 있을 때 자주 발생합니다.
언뜻보기에이 진술은 거짓으로 보이지 않습니다.
그러나 입력 Xi는 여러 뉴런에 동시에 공급하고 모든 시냅스가 반드시 0일 필요는 없으므로 입력 Xi를 삭제하면 네트워크의 출력이 완전히 변경됩니다.
--------------
네트워크에 뉴런이 많을수록 신경망이 해결할 수 있는 작업이 더 정확하고 복잡해집니다.
NN의 개발자는 수용 가능한 훈련 시간 동안 결과의 정확성이 충분하다는 관점에서 네트워크의 뉴런 수를 제한합니다. 네트워크를 훈련하는 데 필요한 Epoch의 수는 뉴런의 수에 따라 기하급수적으로 증가합니다.
정확히 금요일은 아니지만...
NS, any, 입력 A={A1, A2, .... A20}이 있습니다. 우리는 NN을 훈련하고 만족스러운 결과를 얻습니다. 이 결과에 대한 입력 A1, A2, ... A20의 각 요소의 기여도를 실제로 어떻게 추정합니까?
내 마음에 온 옵션 :
1) 네트워크를 통과하는 요소의 모든 가중치를 어떻게든 합산하고 계산합니다. 이 작업을 수행하는 방법이 완전히 명확하지 않은 경우 네트워크 작동에 몰입해야 하고, 어딘가에서 일부 계수를 계산하는 등의 작업을 해야 합니다.
2) 어떻게든 "0"을 시도하거나, 예를 들어 입력 벡터의 요소를 뒤집어 최종 결과에 어떤 영향을 미치는지 확인하십시오. 그가 멈출 때까지.
그러나 이 두 번째 옵션을 구현하기 전에 상담하기로 결정했습니다. 나보다 그 주제에 대해 더 오래 생각한 사람이 있을까? 책자 추천해주실 분 계신가요?
계량경제학적 맥락 밖에서 확고한 증거 기반 접근 방식을 적용하면 유치한 질문이 제기됩니다.
회귀하기:
이익 \u003d c (1) * A0 + ... c (n) * A (n)
이 회귀의 계수를 추정합니다.
즉시 우리는
특정 계수가 0이 될 확률. - 이 입력을 제거
함께 취한 모든 계수가 0일 확률
타원으로 상관 계수를 얻습니다.
중복 입력 테스트
누락된 항목에 대한 테스트
우리는 계수 값의 안정성에 대한 테스트를 수행합니다(변화의 무작위성을 평가합니다)