트렌드 전략 관련 ML(Decision Tree/Forest) 개발팀을 모집하고 있습니다. - 페이지 12

 
기적이 일어나고 팀이 모이면 모델을 평가할 학습 알고리즘과 방법을 선택해야 합니다.
 
Roffild :
기적이 일어나고 팀이 모이면 모델을 평가할 학습 알고리즘과 방법을 선택해야 합니다.

반사 그룹에서 넘어질 수 있습니다.

 
Aleksey Vyazmikin :

...대체 사이트에 대해 생각해볼 필요가 있을 것입니다. 아마도 누군가가 이런 것을 알고 있습니까? 사진을 공유하고 어떻게든 편집할 수 있는 게시판, 별도의 채팅, 기발한 아이디어의 컨테이너 같은 것이 지루하다고 생각합니다.

예를 들어 . 코드 교환을 위한 저장소도 연결되어 있습니다. 모바일 앱도 있습니다. IMHO, 매우 편리한 서비스입니다.

Trello
Trello
  • trello.com
Выбросьте длинные цепочки электронных писем, устаревшие таблицы, не такие уж и клейкие стикеры и неуклюжие программы для управления проектами. Trello помогает увидеть все детали проекта с первого взгляда. Зарегистрироваться – Это бесплатно.
 
Roffild :

모델(네트워크 또는 포리스트)의 품질을 평가하기 위해 MSE, OOB 등의 오류 값이 사용됩니다.

그러나 테스트 샘플을 사람이 만드는 이미지 인식과 달리 가격 차트용 샘플을 만드는 것은 매우 어렵습니다. 따라서 MSE, OOB 등에 대한 가격 모델의 평가는 종종 오해.

모델 "과적합"에 대한 명확한 정의는 없습니다.

따라서 MSE, OOB 등의 모델 확인을 중단했습니다.

이제 전체 그림을 보기 위해 가격 차트에 훈련 결과를 겹쳐서 표시하는 것을 선호합니다.

다음은 모델의 품질을 평가하는 방법입니다(이 사진을 이미 게시했습니다).


IMHO, 필요한 것은 그림이 아니라 객관적이고 정량적인 메트릭이며, 거래 모델의 품질에 대한 이해할 수 있는 소비자 평가에 대해 이야기하는 경우 예를 들어 신호의 생산성으로 측정할 수 있습니다.


 
Dennis Kirichenko :

예를 들어 . 코드 교환을 위한 저장소도 연결되어 있습니다. 모바일 앱도 있습니다. IMHO, 매우 편리한 서비스입니다.

음.. 팁 감사합니다. 매우 흥미로운 서비스입니다. 무료 버전을 사용 중이신가요? 원하는 만큼 확장을 추가할 수 있습니까?

 
Roffild :

이제 전체 그림을 보기 위해 가격 차트에 훈련 결과를 겹쳐서 표시하는 것을 선호합니다.

다음은 모델의 품질을 평가하는 방법입니다(이 사진을 이미 게시했습니다).

지하실에서 이 그래프를 읽는 방법을 알려주세요. 거기에 몇 개의 목표가 있습니까(4점 - 4개의 목표에서 불일치가 보입니까?), 예측이 막대의 시작 부분에서 발생한다는 것을 올바르게 이해하고 있습니까(그런 다음 시작 부분이 일치하지 않거나 차트를 읽지 않는 이유는 무엇입니까? 맞습니까?) 막대 당?

시각화는 사고 과정에 유용하지만 이러한 불일치를 숫자로 표현하지 않고 동일한 적합성 함수에 대한 모델을 평가하는 과정을 자동화하는 것은 불가능합니다.

 
Roffild :
기적이 일어나고 팀이 모이면 모델을 평가할 학습 알고리즘과 방법을 선택해야 합니다.

그래서 당신은 팀에 있습니까?

 
Алексей Тарабанов :

반사 그룹에서 넘어질 수 있습니다.

좋아, 적어보자...

 
Dennis Kirichenko :

예를 들어 . 코드 교환을 위한 저장소도 연결되어 있습니다. 모바일 앱도 있습니다. IMHO, 매우 편리한 서비스입니다.

감사합니다 서비스 확인해보겠습니다. 또는 어떻게 든 그것을 기반으로 기존 프로젝트를 살펴보십시오.

 

ML 모델 평가에 대한 제 생각을 공유하겠습니다.

모스크바 지역에 식물 표본관 같은 것이 있는지는 모르겠지만 계속 사용할 것입니다. 누군가가 이해하지 못하면 식물 표본 상자는 나무에서 좋은 (평가 기준이 다를 수 있음) 잎을 수집하고 한 나무에서 한 잎과 여러 잎을 수집 할 수 있습니다. 이러한 모델은 투표할 때 단점이 있습니다. 다른 시점에서 하나의 현상(목표)을 설명하는 잎의 수가 다를 수 있습니다. 샘플을 필드로 나타내면 시트가 필드 전체에 서로 다른 더미로 흩어져 있어 투표 품질에 영향을 미칩니다. 그래서 저는 그러한 모델을 평가하기 위해(이 방법은 숲에도 적합하지만 더 원시적입니다. 지역의 예측 능력에만 중점을 두어야 함) 각 잎(나무 ) 레이어로 이러한 레이어를 서로 겹쳐서 나뭇잎이 교차하는 위치에서 평균 예측 능력을 계산하고 나뭇잎의 수에 따라 제품에 영향을 줄 계수를 추가합니다(숲에는 필요하지 않음). 결과 지도를 보고 균일성을 평가합니다. 이러한 지도는 세 번째 공간(정점별)을 추가하고 Kohonen 지도 방법을 사용하여(색상별) 다양한 방식으로 평가할 수 있으며, 이 지도에서 전체 평균값과 표준편차를 찾을 수 있습니다. 그런 다음 모델의 품질, 모델의 예측 능력이 전체가 아니라 전체 샘플에서 얼마나 강력한지 알 수 있습니다. 이러한 추정은 적합도 함수가 평균 예측력이 낮은 샘플 영역을 개선하는 잎/나무를 찾는 데 도움이 될 수 있습니다.

어떻게 생각하나요?

아니면 다시, 내 생각을 명확하게 표현하지 않는거야?