우리는 일반적으로 뉴런을 위한 것이 아니라 거대한 수염을 가진 경사 하강 알고리즘을 사용합니다. 우리는 구글을 통해 경사 하강이 다양한 유형의 국부적 극한 함정을 극복하는 방법을 배웠기 때문에 유치한 질문은 하지 않습니다. 이것은 사람들이 수년 동안 구체적으로 해온 일입니다.
몇 가지 대표적인 함수에 대해 학습/최적화를 테스트하라는 요청을 받은 적이 있다면, 이는 좋은 연습입니다.
한편으로 학습은 최적화의 특수한 경우이지만 다른 한편으로는 몇 가지 특이한 점이 있습니다.
1) MO에서의 최적화는 일반적으로 본질적으로 무한 차원 함수 공간에서의 최적화를 의미합니다. 이는 명시적인 형태( 예:그라데이션 부스팅)로 나타나기도 하지만 암시적일 수도 있습니다. 이로 인해 모델의 유연성은 매우 뛰어나지만 유한 차원 최적화에서 볼 수 있는 명확성과 단순성은 사라집니다. 예를 들어, 유한 차원 하위 공간의 극한점이 고차원 하위 공간의 안장점(원하는 만큼 높을 수 있음)으로 판명될 수 있습니다.
2) 잘 동작하는 유한한 손실 함수 집합이 사용됩니다. 이렇게 하면 첫 번째 지점에서 발생하는 문제를 피할 수 있습니다. 그러나 손실 함수를 사용자 정의하려면 불가능하거나 매우 어렵습니다.
완전한 검색이 있고 최적화가 있습니다. 최적의 솔루션을 찾는 데 걸리는 시간을 줄이기 위해 필요합니다. 그렇기 때문에 항상 타협이 필요합니다. 확률적 그라데이션 방법으로 최적화하면 아담보다 더 나은 결과를 얻을 수 있지만 시간이 희생됩니다. 그리고 선택해야 합니다. 예를 들어 TC의 기대치를 높이기 위해 속도보다 정확도가 더 중요한 작업도 있을 수 있습니다.
우리는 일반적으로 뉴런을 위한 것이 아니라 거대한 수염을 가진 경사 하강 알고리즘을 사용합니다. 우리는 구글을 통해 경사 하강이 다양한 유형의 국부적 극한 함정을 극복하는 방법을 배웠기 때문에 유치한 질문은 하지 않습니다. 이것은 사람들이 수년 동안 구체적으로 해온 일입니다.
몇 가지 대표적인 함수에 대해 학습/최적화를 테스트하라는 요청을 받은 적이 있다면, 이는 좋은 연습입니다.
신경망이 완벽하게 해낼 수 있다고 생각한다면 틀린 생각일 수 있습니다.
몇 가지 대표적인 기능에 대해 학습/최적화를 테스트하는 것이 좋습니다.
신경망이 완벽하게 해낼 수 있다고 생각한다면 틀린 생각일 수 있습니다.
네... 솔직히 말해서 모든 사람이 단순한 진리를 적절하게 인식하지 못했다는 사실에 놀랐습니다. 모든 것이 테스트되어야하며 누군가가 표명 한 교리에 대한 믿음은 정체와 저하를 의미합니다.
그리고 경사 하강과 베크 프로프는 너무 오래되고 비참한 방법이기 때문에 일부 사람들이 여전히 진지하게 받아 들일 수 있다는 것이 이상합니다.
그건 그렇고, 유전학은 오늘날 가장 강력한 알고리즘이 아닙니다. 표에 포함되어야합니다. 항상 개선의 여지가 있다는 것을 분명히 하기 위해서입니다.
네... 솔직히 말해서 모든 사람이 모든 것을 확인해야하며 누군가가 말한 교리에 대한 믿음은 정체와 타락을 의미한다는 단순한 진리를 적절하게 인식하지 못했다는 사실에 놀랐습니다.
그리고 그라디언트 하강과 베크 프로프는 너무 오래되고 비참한 방법이어서 여전히 누구에게나 진지하게 받아 들여질 수 있다는 것이 이상합니다.
거기에 대한 인식은 카르고 컬트 수준에서 구체적이며 신성한 R에 대한 믿음으로 문명의 선물을 가져옵니다.
한편으로 학습은 최적화의 특수한 경우이지만 다른 한편으로는 몇 가지 특이한 점이 있습니다.
1) MO에서의 최적화는 일반적으로 본질적으로 무한 차원 함수 공간에서의 최적화를 의미합니다. 이는 명시적인 형태( 예:그라데이션 부스팅)로 나타나기도 하지만 암시적일 수도 있습니다. 이로 인해 모델의 유연성은 매우 뛰어나지만 유한 차원 최적화에서 볼 수 있는 명확성과 단순성은 사라집니다. 예를 들어, 유한 차원 하위 공간의 극한점이 고차원 하위 공간의 안장점(원하는 만큼 높을 수 있음)으로 판명될 수 있습니다.
2) 잘 동작하는 유한한 손실 함수 집합이 사용됩니다. 이렇게 하면 첫 번째 지점에서 발생하는 문제를 피할 수 있습니다. 그러나 손실 함수를 사용자 정의하려면 불가능하거나 매우 어렵습니다.
한편으로는 배우면서...
끔찍하네요.
공포는 사람이 최적화에 대한 기사에 와서 주제를 20 %도 모르기 때문에 상식을 인식하지 못하고 놀란다는 것입니다....
공포는 자격이 훨씬 적은 사람들이 고름을 머리에 붓고 전문가의 지식으로 간주하여 그 결과물이 지적 불구자 무리라는 것입니다 ...
그리고 모든 종류의 비 전문가들은 이미 불구가되어 자신의 자아 기사라고 부르는 고름을 스스로 부어주기 때문에 기꺼이 동의합니다....
그것이 진짜 공포입니다 !!!
공포는 사람이 최적화에 대한 기사에 와서 주제를 20 %도 모르기 때문에 상식을 인식하지 못하고 놀라게된다는 것입니다.....
공포는 자격이 훨씬 적은 사람들이 고름을 머리에 붓고 전문가의 지식이라고 생각하고 그 결과물이 지적 불구자 무리라는 것입니다.....