알렉세이 테렌테프 : 과적합 - 다중공선성의 결과인 큰 가중치(~10^18)가 있을 때 발생하여 모델 A(x, w)의 불안정성을 초래합니다.
과적합은 모델 훈련의 조기 중단, 가중치 증가 제한(L1(Lasso) 및 L2의 정규화), 네트워크 연결 제한(Dropout), 페널티 함수(ElacticNet, Lasso) 사용도 가능합니다.
또한 L1의 정규화는 가중치 계수를 무효화하기 때문에 피쳐 선택으로 이어집니다.
"노이즈" 기능 제거 - 이것이 기능 선택입니다. 이를 위한 방법이 있습니다. 이것이 모델에 항상 유익한 것은 아니므로 L2 정규화가 때때로 사용됩니다(다중 공선성 문제를 해결하는 데 도움이 됨).
SanSanych Fomenko , 표지판과 표적 사이의 관계에 대한 귀하의 진술은 다소 자신감이 있습니다. 아직 입증되지 않은 것을 어떻게 주장할 수 있습니까? 그것이 MO 모델이 만들어진 이유입니다. 구성되고 작동하는 모델은 "이러한" 정확도와의 관계가 있음을 어느 정도 추정합니다.
바지와 치마 의 예는 연구 대상 지역에 대한 연구원 지식의 부족을 반영합니다. 왜냐하면 그러한 모델에서는 거주지, 계절, 거주 지역의 위도 및 경도 등에 대한 귀중한 표시를 버리기 때문입니다. .
내 예는 타락한 경우, 생각의 순수성, 오류 없는 분류입니다. 경제에서는 그런 징후가 없지만 유전학에서는 100%는 아니더라도 조금 덜 쉽습니다.
이제 정규화에 대해 알아보겠습니다.
의심할 여지 없이.
그러나 일관성이 중요합니다.
첫째, 항상 대상과의 "관계"를 기반으로 기능을 선택합니다. 주식 시장이라면 경제적 유대를 기반으로 합니다.
항상 처음이고 그 다음이 모든 것입니다.
rf가 있는 작업 차량이 있습니다. 수백 개의 기호에서 "관계"를 사용하여 27개의 예측 변수를 선택했습니다. 그런 다음 각 막대(H1)의 표준 알고리즘에 의해 27에서 선택하고 5에서 15까지 유지되며 항상 다른 막대를 얻습니다. 나는 나무의 수를 제한하고, 100은 많이, 50은 충분하지 않으며, 오류는 50에서 안정화되지 않습니다.
이것은 구체적인 경험입니다. ZZ 분류 오류는 30%보다 약간 작습니다. 줄일 수 없습니다. 다른 예측 변수가 필요하지만 예측 변수에 아이디어가 없습니다.
대상 데이터 간의 일부 상관 관계가 있는 분류를 위한 샘플링 매개 변수에 대해 제기된 질문에서 과적합에 대해 언급했습니다. 나는 당신을 수정하려고 노력했고 이 질문을 기능 선택 문제로 일반화했습니다. 동시에 그는 선택의 문제가 결과적으로 발생하는 재교육에 대한 고려를 했습니다. 따라서 나는 제기된 질문에서 재교육은 부차적이라고 말합니다. 올바르게 언급했지만 다음과 같이 말했어야 합니다. "매개변수 선택은 재교육에 부차적이며 문제를 더 자세히 고려할 가치가 있습니다."
От имени команды Uber AI Labs, которая также включает Joel Lehman, Jay Chen, Edoardo Conti, Vashisht Madhavan, Felipe Petroski Such и Xingwen Zhang. В области обучения глубоких нейронных сетей (DNN) с большим количеством слоев и миллионами соединений, для тренировки, как правило, применяется стохастический градиентный спуск (SGD). Многие...
Многие материалы по нейронным сетям сразу начинаются с демонстрации довольно сложных архитектур. При этом самые базовые вещи, касающиеся функций активаций, инициализации весов, выбора количества слоёв в сети и т.д. если и рассматриваются, то вскользь. Получается начинающему практику нейронных сетей приходится брать типовые конфигурации и...
IMHO 쓸모없는 기사, 나쁜 번역, 또는 나는 나쁜 독자이지만 나에게는 구식 아이디어의 진부한 더미처럼 보이며 슬프게도 최고의 기술, 심지어 실제조차도 딥 러닝의 위기에 대한 또 다른 확인입니다. 이 방향의 창시자 - Geoffrey Hinton은 캡슐 신경망에 대한 기사에서.
과적합 - 다중공선성의 결과인 큰 가중치(~10^18)가 있을 때 발생하여 모델 A(x, w)의 불안정성을 초래합니다.
과적합은 모델 훈련의 조기 중단, 가중치 증가 제한(L1(Lasso) 및 L2의 정규화), 네트워크 연결 제한(Dropout), 페널티 함수(ElacticNet, Lasso) 사용도 가능합니다.
또한 L1의 정규화는 가중치 계수를 무효화하기 때문에 피쳐 선택으로 이어집니다.
"노이즈" 기능 제거 - 이것이 기능 선택입니다. 이를 위한 방법이 있습니다. 이것이 모델에 항상 유익한 것은 아니므로 L2 정규화가 때때로 사용됩니다(다중 공선성 문제를 해결하는 데 도움이 됨).
SanSanych Fomenko , 표지판과 표적 사이의 관계에 대한 귀하의 진술은 다소 자신감이 있습니다. 아직 입증되지 않은 것을 어떻게 주장할 수 있습니까? 그것이 MO 모델이 만들어진 이유입니다. 구성되고 작동하는 모델은 "이러한" 정확도와의 관계가 있음을 어느 정도 추정합니다.
바지와 치마 의 예는 연구 대상 지역에 대한 연구원 지식의 부족을 반영합니다. 왜냐하면 그러한 모델에서는 거주지, 계절, 거주 지역의 위도 및 경도 등에 대한 귀중한 표시를 버리기 때문입니다. .
내 예는 타락한 경우, 생각의 순수성, 오류 없는 분류입니다. 경제에서는 그런 징후가 없지만 유전학에서는 100%는 아니더라도 조금 덜 쉽습니다.
이제 정규화에 대해 알아보겠습니다.
의심할 여지 없이.
그러나 일관성이 중요합니다.
첫째, 항상 대상과의 "관계"를 기반으로 기능을 선택합니다. 주식 시장이라면 경제적 유대를 기반으로 합니다.
항상 처음이고 그 다음이 모든 것입니다.
rf가 있는 작업 차량이 있습니다. 수백 개의 기호에서 "관계"를 사용하여 27개의 예측 변수를 선택했습니다. 그런 다음 각 막대(H1)의 표준 알고리즘에 의해 27에서 선택하고 5에서 15까지 유지되며 항상 다른 막대를 얻습니다. 나는 나무의 수를 제한하고, 100은 많이, 50은 충분하지 않으며, 오류는 50에서 안정화되지 않습니다.
이것은 구체적인 경험입니다. ZZ 분류 오류는 30%보다 약간 작습니다. 줄일 수 없습니다. 다른 예측 변수가 필요하지만 예측 변수에 아이디어가 없습니다.
입력에 즉시 많은 매개변수가 있으므로 무슨 말을 하는지 명확합니다.
이 경우 여기서 재교육은 다소 부차적이며 내 눈을 사로 잡았을 가능성이 큽니다. 이것은 계산을 "쉽게"하는 데 더 가깝습니다.
입력에 즉시 많은 매개변수가 있으므로 무슨 말을 하는지 명확합니다.
이 경우 여기서 재교육은 다소 부차적이며 내 눈을 사로 잡았을 가능성이 큽니다. 이것은 계산을 "쉽게"하는 데 더 가깝습니다.
왜 보조인가?
그리고 기본은 무엇입니까?
재교육(과적합)보다 더 나쁠 수 있는 것은 무엇입니까?
왜 보조인가?
그리고 기본은 무엇입니까?
재교육(과적합)보다 더 나쁠 수 있는 것은 무엇입니까?
따라서 나는 제기된 질문에서 재교육은 부차적이라고 말합니다.
올바르게 언급했지만 다음과 같이 말했어야 합니다. "매개변수 선택은 재교육에 부차적이며 문제를 더 자세히 고려할 가치가 있습니다."
https://habrahabr.ru/post/345950/
여기에서 훈련 샘플의 경계 외부에 있는 간단한 신경망이 아주 그렇게 작동한다는 것이 밝혀졌습니다(하이퍼b. 접선 상수로 이동) .. 회귀의 경우, 즉 RF보다 훨씬 좋지 않음
와우 좋은 기사
https://habrahabr.ru/post/322438/
여기에서 훈련 샘플의 경계 외부에 있는 간단한 신경망이 아주 그렇게 작동한다는 것이 밝혀졌습니다(하이퍼b. 접선 상수로 이동) .. 회귀의 경우, 즉 RF보다 훨씬 좋지 않음
와우 좋은 기사
https://habrahabr.ru/post/322438/
여가 시간에 읽으십시오.
https://habrahabr.ru/post/345950/
IMHO 쓸모없는 기사, 나쁜 번역, 또는 나는 나쁜 독자이지만 나에게는 구식 아이디어의 진부한 더미처럼 보이며 슬프게도 최고의 기술, 심지어 실제조차도 딥 러닝의 위기에 대한 또 다른 확인입니다. 이 방향의 창시자 - Geoffrey Hinton은 캡슐 신경망에 대한 기사에서.
비록 Uber 택시-존중 ..))
IMHO 참신함에 대한 주장은 없지만 실용적인 의미가 있는 유용하고 발전하는 기사입니다.
따라서 혼동하기 쉽습니다. 선형 또는 능선 회귀를 사용했고 모든 것이 정상이었다고 가정해 보겠습니다. 그런 다음 동일한 작업에 대해 MLP로 전환하기로 결정했습니다. 하지만 nifiga :)
MLP의 경우 출력을 어떻게든 변환한 다음 다시 변환해야 합니다. 따라서 회귀가 예측 작업에 적합하지만 모든 사람은 분류를 사용하는 것을 선호합니다. :)
선형 또는 능선 회귀가 추세 및 MLP 플랫에 더 적합하다고 말할 수도 있습니다.
grub으로 연습하는 동안 놀라운 그림을 얻었습니다.
EURCAD 견적은 다음과 같습니다.
다음은 절대 증분의 자기상관입니다.
놀라운 규칙성!
1. 이것은 무엇을 의미합니까?
2. 이 규칙성을 어떻게 사용할 수 있습니까?
추신.
모든 통화 쌍에 이 유형이 있는 것은 아닙니다.
USD/JPY입니다.