두 번째로, 입력을 제거함으로써 입력의 정보성을 감소시켜 전체적으로 NN의 효율성을 감소시킬 것이라고 생각했습니다. 일부 입력은 많이 저하되고 일부는 약간 저하됩니다. 그리고 아마도 나는 그러한 입력을 찾을 것이며, 제거는 전혀 영향을 미치지 않으며 네트워크를 단순화하기 위해 버릴 것입니다. 물론, 나는 "더미"를 찾았고 NN이 무력화되는 입력을 찾았지만 NN 전체의 결과를 증가시키는 입력을 제거하여 입력도 찾았습니다. 이것은 훈련이 지옥에 대한 것이거나 입력이 너무 모순되고 해롭습니다.
두 번째로, 입력을 제거함으로써 입력의 정보성을 감소시켜 전체적으로 NN의 효율성을 감소시킬 것이라고 생각했습니다. 일부 입력은 많이 저하되고 일부는 약간 저하됩니다. 그리고 아마도 나는 그러한 입력을 찾을 것이며, 제거는 전혀 영향을 미치지 않으며 네트워크를 단순화하기 위해 버릴 것입니다. 물론, 나는 "더미"를 찾았고 NN이 무력화되는 입력을 찾았지만 NN 전체의 결과를 증가시키는 입력을 제거하여 입력도 찾았습니다. 이것은 훈련이 지옥에 대한 것이거나 입력이 너무 모순되고 해롭습니다.
NS, any, 입력 A={A1, A2, .... A20}이 있습니다. 우리는 NN을 훈련하고 만족스러운 결과를 얻습니다. 이 결과에 대한 입력 A1, A2, ... A20의 각 요소의 기여도를 실제로 어떻게 평가합니까?
내 마음에 온 옵션 :
1) 네트워크를 통과하는 요소의 모든 가중치를 어떻게든 합산하고 계산합니다. 이 작업을 수행하는 방법이 완전히 명확하지 않은 경우 네트워크 작동에 몰입해야 하고, 어딘가에서 일부 계수를 계산하는 등의 작업을 해야 합니다.
2) 어떻게든 "0"을 시도하거나, 예를 들어 입력 벡터의 요소를 뒤집어 최종 결과에 어떤 영향을 미치는지 확인하십시오. 그가 멈출 때까지.
그러나 이 두 번째 옵션을 구현하기 전에 상담하기로 결정했습니다. 나보다 그 주제에 대해 더 오래 생각한 사람이 있을까? 책자 추천해주실 분 계신가요?
일반적이고 효과적인 방법 중 하나는 훈련 후 NN 가중치를 분석하는 것입니다. 가중치는 값이 0과 크게 다르지 않도록 초기화됩니다(예: 평균 0, 표준 편차 0.1). 훈련 후 중요하지 않은 입력과 관련된 가중치는 모듈로 0에 가깝고 중요한 입력의 가중치는 0과 매우 다릅니다. 테스트됨 - 합성 데이터에서 작동합니다.
각 입력의 영향 정도를 현실적으로 평가 하는 것은 거의 불가능합니다. 모든 종류의 수학 공식이 있으며 특수 프로그램에서는 영향의 정도를 자동으로 계산할 수 있습니다. 그러나 이러한 모든 계산은 큰 오류를 수반할 수 있기 때문에 실제로 거의 말하지 않는 특정 조건부 값일 뿐입니다.
예, 실제로 알고 있습니다. 동일한 통계에서 입력을 분석하는 것이 더 논리적일 수 있지만 이는 기본적으로 작동하는 시스템을 그곳으로 이전하는 데 많은 인건비가 들기 때문입니다. 나는 또한 그러한 실험에 대한 해석의 모호함을 이해합니다. 그러나 이점이 있고 그것은 확실합니다.
alexeymosc : 일반적이고 효과적인 방법 중 하나는 훈련 후 NN 가중치를 분석하는 것입니다. 가중치는 값이 0과 크게 다르지 않도록 초기화됩니다(예: 평균 0, 표준 편차 0.1). 훈련 후 중요하지 않은 입력과 관련된 가중치는 모듈로 0에 가깝고 중요한 입력의 가중치는 0과 매우 다릅니다. 테스트됨 - 합성 데이터에서 작동합니다.
글쎄요, 원칙적으로 이것이 가장 먼저 떠오른 것이지만, 내 시스템 내에서 이러한 분석을 더 쉽게 구현하는 방법을 이해할 수 없었습니다. 따라서 나는 반대 방향으로 갔다.
Leonid가 쓴 것에 주의를 기울이십시오. 그의 말이 맞습니다. 네트워크의 출력에 대한 입력의 영향을 찾는 것은 해결할 수 없는 작업입니다. 예, 불필요한 것을 제거하는 것이 가능합니다. 동의합니다. 그러나 하나 또는 다른 입력이 출력에 미치는 영향의 정도를 결정하는 것은 실질적으로 불가능합니다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
네트워크를 훈련 할 때 함수의 극소값을 찾습니다. 오히려, 검색은 오류의 전역 최소값에 대한 것이지만 로컬 아래에서 전역으로의 전환을 통해 이루어집니다.
가끔은 아니지만 자주, 함수의 국소 최소값이 미래에 단순히 이상적인 결과를 나타내도록 만났습니다.
작업은 간단합니다. 훈련 중 네트워크가 미래에 얻을 수 있는 극소값을 가질 수 있도록 네트워크의 입력(나중에 변경할 필요가 없음)을 선택하는 것입니다.
훈련하는 동안 평균 약 10-20개의 극소값이 있고 그 중 적어도 하나가 맞다고 가정해 보겠습니다. 그러나 가능한 한 많은 수익성있는 지역 최소값이 있도록 선택하는 것이 좋습니다 ......
nikelodeon : Leonid가 쓴 것에주의를 기울이십시오. 그는 완전히 옳았습니다. 네트워크의 출력에 대한 입력의 영향을 찾는 것은 해결할 수 없는 작업입니다. 예, 불필요한 것을 제거하는 것이 가능합니다. 동의합니다. 그러나 하나 또는 다른 입력이 출력에 미치는 영향의 정도를 결정하는 것은 실질적으로 불가능합니다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
이것도 사실입니다. 반대 상황도 있습니다. 이론적으로 정보 내용이 많은 두 입력과 정보 내용이 낮은 입력이 있을 수 있습니다. 논리적으로 세 번째를 제거하고 싶지만 제거하면 복잡한 4중 관계(3개의 입력 - 출력)가 붕괴되고 나머지 두 개의 입력은 더 이상 유익하지 않습니다. 그리고 이러한 복잡한 관계를 식별하려면 이러한 공간 수학적 장치를 사용하고 기술적으로 공식화해야 합니다. 어려워요, 쉽다고 생각하지 마세요. NN은 80% 경험적 탐색입니다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
입력이 서로 연결되어 있고 그러한 실험 결과의 해석이 가장 중요한 측면이라는 것은 분명합니다. 입력을 한 번에 하나씩 제외할 뿐만 아니라 입력을 하나 더 추가한 것과 유사한 1-5(이 범위를 모든 입력의 절반으로 더 확장할 것입니다)의 다양한 조합도 제외합니다. 훈련 단계와 전달 단계 모두에서 NN의 응답 .
니켈로디언 :
네트워크를 훈련할 때 함수의 극소값을 찾습니다. 오히려, 검색은 오류의 전역 최소값에 대한 것이지만 로컬 아래에서 전역으로의 전환을 통해 이루어집니다.
가끔은 아니지만 자주, 함수의 국소 최소값이 미래에 단순히 이상적인 결과를 나타내도록 만났습니다.
작업은 간단합니다. 이러한 네트워크 입력(나중에 변경할 필요가 없음)을 선택하면 훈련 중 네트워크가 미래에 얻을 수 있는 로컬 최소값을 가질 수 있습니다.
훈련하는 동안 평균 약 10-20개의 극소값이 있고 그 중 적어도 하나가 맞다고 가정해 보겠습니다. 그러나 가능한 한 많은 수익성있는 지역 최소값이 있도록 선택하는 것이 좋습니다 ......
이 문제가 마음에 드시나요???? 더 현실같다...
사람마다 현실이 다름) 특히, 나는 최소의 오차를 찾는 것이 아니라 최대의 이익, 최소의 드로다운, 나를 만족시키는 PF 등을 찾고 있다. 즉, 이것이 본질을 변경하지는 않지만 나는 국소 극대를 가지고 있습니다. 그리고 당신이 제안한 문제는 적어도 오랫동안 나를 위해 해결되었습니다 ...
놀라움은 무엇입니까???
글쎄, 우선, 나는 하나의 오랜 오류를 즉시 발견했습니다)
두 번째로, 입력을 제거함으로써 입력의 정보성을 감소시켜 전체적으로 NN의 효율성을 감소시킬 것이라고 생각했습니다. 일부 입력은 많이 저하되고 일부는 약간 저하됩니다. 그리고 아마도 나는 그러한 입력을 찾을 것이며, 제거는 전혀 영향을 미치지 않으며 네트워크를 단순화하기 위해 버릴 것입니다. 물론, 나는 "더미"를 찾았고 NN이 무력화되는 입력을 찾았지만 NN 전체의 결과를 증가시키는 입력을 제거하여 입력도 찾았습니다. 이것은 훈련이 지옥에 대한 것이거나 입력이 너무 모순되고 해롭습니다.
일반적으로 나는 며칠 동안 생각할 음식을 받았습니다.
글쎄, 우선, 나는 하나의 오랜 오류를 즉시 발견했습니다)
두 번째로, 입력을 제거함으로써 입력의 정보성을 감소시켜 전체적으로 NN의 효율성을 감소시킬 것이라고 생각했습니다. 일부 입력은 많이 저하되고 일부는 약간 저하됩니다. 그리고 아마도 나는 그러한 입력을 찾을 것이며, 제거는 전혀 영향을 미치지 않으며 네트워크를 단순화하기 위해 버릴 것입니다. 물론, 나는 "더미"를 찾았고 NN이 무력화되는 입력을 찾았지만 NN 전체의 결과를 증가시키는 입력을 제거하여 입력도 찾았습니다. 이것은 훈련이 지옥에 대한 것이거나 입력이 너무 모순되고 해롭습니다.
일반적으로 나는 며칠 동안 생각할 음식을 받았습니다.
다음 교육 동안(다른 샘플에서) 그것들이 필요할 것입니다 ...
정확히 금요일은 아니지만...
NS, any, 입력 A={A1, A2, .... A20}이 있습니다. 우리는 NN을 훈련하고 만족스러운 결과를 얻습니다. 이 결과에 대한 입력 A1, A2, ... A20의 각 요소의 기여도를 실제로 어떻게 평가합니까?
내 마음에 온 옵션 :
1) 네트워크를 통과하는 요소의 모든 가중치를 어떻게든 합산하고 계산합니다. 이 작업을 수행하는 방법이 완전히 명확하지 않은 경우 네트워크 작동에 몰입해야 하고, 어딘가에서 일부 계수를 계산하는 등의 작업을 해야 합니다.
2) 어떻게든 "0"을 시도하거나, 예를 들어 입력 벡터의 요소를 뒤집어 최종 결과에 어떤 영향을 미치는지 확인하십시오. 그가 멈출 때까지.
그러나 이 두 번째 옵션을 구현하기 전에 상담하기로 결정했습니다. 나보다 그 주제에 대해 더 오래 생각한 사람이 있을까? 책자 추천해주실 분 계신가요?
각 입력의 영향 정도를 현실적으로 평가 하는 것은 거의 불가능합니다. 모든 종류의 수학 공식이 있으며 특수 프로그램에서는 영향의 정도를 자동으로 계산할 수 있습니다. 그러나 이러한 모든 계산은 큰 오류를 수반할 수 있기 때문에 실제로 거의 말하지 않는 특정 조건부 값일 뿐입니다.
예, 실제로 알고 있습니다. 동일한 통계에서 입력을 분석하는 것이 더 논리적일 수 있지만 이는 기본적으로 작동하는 시스템을 그곳으로 이전하는 데 많은 인건비가 들기 때문입니다. 나는 또한 그러한 실험에 대한 해석의 모호함을 이해합니다. 그러나 이점이 있고 그것은 확실합니다.
다음 교육 동안(다른 샘플에서) 그것들이 필요할 것입니다 ...
아마도 그럴 것입니다. 하지만 신경망이 있고 훈련되고 작동합니다. 즉, 무시된 입력 없이 수행할 수 있으며 네트워크를 단순화하고 일반화 능력을 개선하며 더 낮은 수준에서 훈련 품질을 개선하기 위해 입력을 거부하는 것이 합리적입니다. 비용.
일반적이고 효과적인 방법 중 하나는 훈련 후 NN 가중치를 분석하는 것입니다. 가중치는 값이 0과 크게 다르지 않도록 초기화됩니다(예: 평균 0, 표준 편차 0.1). 훈련 후 중요하지 않은 입력과 관련된 가중치는 모듈로 0에 가깝고 중요한 입력의 가중치는 0과 매우 다릅니다. 테스트됨 - 합성 데이터에서 작동합니다.
글쎄요, 원칙적으로 이것이 가장 먼저 떠오른 것이지만, 내 시스템 내에서 이러한 분석을 더 쉽게 구현하는 방법을 이해할 수 없었습니다. 따라서 나는 반대 방향으로 갔다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
네트워크를 훈련 할 때 함수의 극소값을 찾습니다. 오히려, 검색은 오류의 전역 최소값에 대한 것이지만 로컬 아래에서 전역으로의 전환을 통해 이루어집니다.
가끔은 아니지만 자주, 함수의 국소 최소값이 미래에 단순히 이상적인 결과를 나타내도록 만났습니다.
작업은 간단합니다. 훈련 중 네트워크가 미래에 얻을 수 있는 극소값을 가질 수 있도록 네트워크의 입력(나중에 변경할 필요가 없음)을 선택하는 것입니다.
훈련하는 동안 평균 약 10-20개의 극소값이 있고 그 중 적어도 하나가 맞다고 가정해 보겠습니다. 그러나 가능한 한 많은 수익성있는 지역 최소값이 있도록 선택하는 것이 좋습니다 ......
이 문제가 마음에 드시나요???? 더 현실같다...
Leonid가 쓴 것에주의를 기울이십시오. 그는 완전히 옳았습니다. 네트워크의 출력에 대한 입력의 영향을 찾는 것은 해결할 수 없는 작업입니다. 예, 불필요한 것을 제거하는 것이 가능합니다. 동의합니다. 그러나 하나 또는 다른 입력이 출력에 미치는 영향의 정도를 결정하는 것은 실질적으로 불가능합니다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
이제 상황을 상상해보십시오. 네트워크가 포워드와 병합되는 것을 허용하지 않는 2개의 입력을 찾았습니다. 세 번째 입력을 추가하면 네트워크 성능이 크게 향상됩니다. 어떤 결론을 내릴 것인가? 이 입력은 네트워크의 출력에 큰 영향을 미칩니다. 그러나 실제로 세 번째 항목은 단기적인 섭동을 일으키고 전체 거래 기간 동안에도 두 번 발생합니다. 그러나 결정적인 것은 바로 이 분노입니다. 분노의 사실 자체가 중요하지 않을지라도. 처음 두 입력 중 하나를 제거하는 것 외에도 만족스러운 결과를 전혀 얻을 수 없습니다. 이 방향으로 작업을 지시하는 것은 또 다른 문제입니다.
입력이 서로 연결되어 있고 그러한 실험 결과의 해석이 가장 중요한 측면이라는 것은 분명합니다. 입력을 한 번에 하나씩 제외할 뿐만 아니라 입력을 하나 더 추가한 것과 유사한 1-5(이 범위를 모든 입력의 절반으로 더 확장할 것입니다)의 다양한 조합도 제외합니다. 훈련 단계와 전달 단계 모두에서 NN의 응답 .
네트워크를 훈련할 때 함수의 극소값을 찾습니다. 오히려, 검색은 오류의 전역 최소값에 대한 것이지만 로컬 아래에서 전역으로의 전환을 통해 이루어집니다.
가끔은 아니지만 자주, 함수의 국소 최소값이 미래에 단순히 이상적인 결과를 나타내도록 만났습니다.
작업은 간단합니다. 이러한 네트워크 입력(나중에 변경할 필요가 없음)을 선택하면 훈련 중 네트워크가 미래에 얻을 수 있는 로컬 최소값을 가질 수 있습니다.
훈련하는 동안 평균 약 10-20개의 극소값이 있고 그 중 적어도 하나가 맞다고 가정해 보겠습니다. 그러나 가능한 한 많은 수익성있는 지역 최소값이 있도록 선택하는 것이 좋습니다 ......
이 문제가 마음에 드시나요???? 더 현실같다...
사람마다 현실이 다름) 특히, 나는 최소의 오차를 찾는 것이 아니라 최대의 이익, 최소의 드로다운, 나를 만족시키는 PF 등을 찾고 있다. 즉, 이것이 본질을 변경하지는 않지만 나는 국소 극대를 가지고 있습니다. 그리고 당신이 제안한 문제는 적어도 오랫동안 나를 위해 해결되었습니다 ...