"New Neural"은 MetaTrader 5 플랫폼용 신경망 엔진의 오픈 소스 프로젝트입니다. - 페이지 79

 
더엑스퍼트 :

그러면 마스크가 출력에 연결되고 다시 뉴런에 연결되지 않는 이유는 무엇입니까?)

활성화 기능을 GPU에 어떻게 푸시하고 싶습니까?

IMHO, 당신은 지난번처럼 중요하지 않은 것을 밀어낼 것입니다. 그러나 이것은 IMHO이므로 안전하게 누울 수 있습니다.

업무 외에는 더 이상 당신을 괴롭히지 않겠습니다.

아, 코그니트론. 다른 무엇 - hopfield 네트워크 - 입력이 있고 출력이 있습니다. 희소성도 있고...

나는 아래에서 위로 대답한다

입력이 있고 출력이 있습니다

GPU는 모든 처리가 병렬이기 때문에 쉽게 구현됩니다.

활성화의 변경이나 동적 문자열로 설명할 수 있는 다른 프로세스는 MetaDriver에 있습니다.

마스크, 가중치, 출력, 임시 데이터는 모두 셀별로 연결되어 있지만 마스크에서 생성할 수 있는 인덱스 배열을 통해 풀 수 있습니다.

일반적으로 마스크는 토폴로지를 생성하고 가중치와 함께 저장됩니다.


프로젝트는 다음과 같습니다.

  • XML 네트워크 스토리지 표준(로드/저장), 바이너리 스토리지에 끌리긴 하지만(기본적으로 사람들은 명확성을 위해 XML을 원하지는 않음)
  • 새로운 네트워크 생성을 위한 그래픽 인터페이스 (생성/저장)
  • 네트워크 생성 API(생성/로드)
  • 범용 네트워크 모델(기본)
  • 네트워크 모델의 기본 기능을 확장하는 클래스
  • 훈련 셸(확장 가능)

마지막 두 요점은 오픈 소스에 달려 있습니다.

 

희소 행렬의 경우 행렬이 희소하면 모델이 그다지 효과적이지 않다는 점을 정확히 지적했지만 여기에서 인덱스 배열을 적용할 수 있으며 직접 구현보다 약간 느리게 작동하지만 여전히 수준이고 GPU의 경우 완전히 연결된 희소가 파리를 추가하는 데 모두 동일한지 여부에는 차이가 없습니다.

Hopfield 네트워크는 일반적으로 문제가 없으며 구현 방법이 명확하지 않습니다(그렇지 않으면 이러한 간단한 예제가 어떻게 어려움을 일으키는지 이해하지 못합니다).

ZY는 아무것도 놓치지 않았나요?

ZZY는 일반적으로 꽤 오랜 시간 동안 생각했고, X는 이 구현이 무엇인지 알고 있었고, 이 모델에서는 구현할 수 없다고 생각하고 있었는데, 생각할 수 없을 때 그는 의 도움을 요청하기로 결정했습니다. 홀.

 
우크라이나 :

활성화의 변경이나 동적 문자열로 설명할 수 있는 다른 프로세스는 MetaDriver에 있습니다.

확인합니다: 이것은 표시된 문제 중 가장 작은 문제입니다.

희소성에 관하여.

내가 알기로는 네트워크 설명 수준에서 이것은 정상적이고 심지어 매우 편리합니다.

압축 프로그램이 필요합니다. 압축된 설명에 대한 "패커"는 차례로 mql 및/또는 OpenCL의 소스 코드로 후속 컴파일을 위한 이미 "음식"입니다.

// 글쎄, 또는 동적 "범용 그리드" 구성기의 경우, 여전히 지지자가 있다면...

 

희소성(위에서 작성)과 관련하여 마스크를 기반으로 각 뉴런에 대한 인덱스 배열 을 생성할 수 있습니다. 이 배열은 계산 후 출력을 배치할 위치를 나타냅니다. 그리고 일반적으로 일반 토론을 통해 선택할 수 있습니다. 이제 가장 중요한 것은 참조 모델을 전체적으로 받아들이는 것입니다.

이 모델은 이해하기 쉽기 때문에 이에 대한 학습 알고리즘을 작성하기 쉽습니다.

GPU의 경우 원래 모델이 여전히 더 좋습니다(IMHO).

 
더엑스퍼트 :

그러면 마스크가 출력에 연결되고 다시 뉴런에 연결되지 않는 이유는 무엇입니까?)

활성화 기능을 GPU에 어떻게 푸시하고 싶습니까?

IMHO, 당신은 지난번처럼 중요하지 않은 것을 밀어낼 것입니다. 그러나 이것은 IMHO이므로 안전하게 누울 수 있습니다.

업무 외에는 더 이상 당신을 괴롭히지 않겠습니다.

아, 코그니트론. 다른 무엇 - hopfield 네트워크 - 입력이 있고 출력이 있습니다. 또한 희소 ...

희소 코딩은 굉장합니다! 반년 전에 나는 시장에서 패턴을 찾는 주제에 대해 그와 함께 고민했습니다. 검색. 그리고 일반화하는 것 같다. 그러나 내 실험에서 밝혀진 바와 같이 과거의 가격 패턴은 미래에 반복되지 않습니다. 이 방법을 사용하여 이미지와 사운드에서 패턴을 찾았습니다. 그것은 꽤 잘 작동했습니다. 나는 3년 동안 스파이크 뉴런을 사용하여 동일한 작업을 시도한 동료들에게 보고했습니다. 모두가 열광했습니다. 두 명의 박사 후보자가 제가 고문이 되기를 원했습니다(물론 제 결과를 논문에 사용할 수 있도록 허용했습니다). 한 사람은 잡지 에 기사 를 쓰자고 제안했습니다. 코드를 작성하고 다른 데이터에서 실행하고 보고서를 작성하는 데 불과 몇 주가 걸렸습니다. 요컨대, 희소 코딩은 큰 잠재력을 가지고 있지만 아마도 시장에는 없지만 어떤 종류의 구조가 있는 곳에 있습니다.

그건 그렇고, 위에서 설명한 범용 NN 모델에 대해서는 뉴런이 어떻게 계층으로 나뉘는지, 입력 처리 기능이 어떻게 할당되는지, 연결이 어떻게 설정되는지 이해하지 못하기 때문에 여전히 할 말이 거의 없습니다.

 
gpwr :

희소 코딩은 굉장합니다! 나는 반년 전에 시장에서 패턴을 찾는 주제에 대해 여기에서 그와 함께 만지작거리고 있었습니다. 검색. 그리고 일반화하는 것 같다. 그러나 내 실험에서 밝혀진 바와 같이 과거의 가격 패턴은 미래에 반복되지 않습니다. 이 방법을 사용하여 이미지와 사운드에서 패턴을 찾았습니다. 그것은 꽤 잘 작동했습니다. 나는 3년 동안 스파이크 뉴런을 사용하여 동일한 작업을 시도한 동료들에게 보고했습니다. 모두가 열광했습니다. 두 명의 박사 후보자가 제가 고문이 되기를 원했습니다(물론 제 결과를 논문에 사용할 수 있도록 허용했습니다). 한 사람은 잡지에 기사를 쓰자고 제안했습니다. 코드를 작성하고 다른 데이터에서 실행하고 보고서를 작성하는 데 불과 몇 주가 걸렸습니다. 요컨대, 희소 코딩은 큰 잠재력을 가지고 있지만 아마도 시장에는 없지만 어떤 종류의 구조가 있는 곳에 있습니다.

그건 그렇고, 위에서 설명한 Universal NN 모델에 대해서는 뉴런이 어떻게 계층으로 나뉘는지, 입력 처리 기능이 어떻게 할당되는지, 연결이 어떻게 설정되는지 이해하지 못하기 때문에 아직 할 말이 거의 없습니다.

제안된 모델에서 뉴런은 계층에 전혀 제한되지 않으므로 이론적으로 이전 뉴런은 다음 뉴런에 신호를 줄 수 있습니다.

그러나 제한을 도입하고 네트워크의 계층화를 설정하고 이러한 계층화 규칙과 관련하여 마스크를 확인할 수 있습니다(알고리즘에는 영향을 미치지 않지만 로드하는 동안 추가 검사가 나타납니다).

그러면 GPU는 개별 뉴런이 아니라 레이어로 설명되는 뉴런 묶음을 공급할 수 있습니다. 그러나 다시 말하지만, 모델 자체는 레이어에 국한되지 않으며 레이어 문제는 추가 제한 규칙(예: 요청 시 중지)일 수도 있고 아닐 수도 있습니다.

ZY 레이어가 없는 구성에서 마스크의 위쪽 삼각형(입력 뒤)은 0으로 설정되며, 이는 기본 매트릭스에 피드백이 없음을 설명하고 레이어가 나타날 때 대각선에서 아래로 내려가면서 제로화가 추가됩니다. 사실 이것은 마스크의 테스트입니다.

 
우크라이나 :
제안된 모델에서 뉴런은 계층에 전혀 제한되지 않으므로 이론적으로 이전 뉴런은 다음 뉴런에 신호를 줄 수 있습니다.

그러나 제한을 도입하고 네트워크의 계층화를 설정하고 이러한 계층화 규칙과 관련하여 마스크를 확인할 수 있습니다(알고리즘에는 영향을 미치지 않지만 로드하는 동안 추가 검사가 나타납니다).

그러면 GPU는 개별 뉴런이 아니라 레이어로 설명되는 뉴런 묶음을 공급할 수 있습니다. 그러나 다시 말하지만, 모델 자체는 레이어에 국한되지 않으며 레이어 문제는 추가 제한 규칙(예: 요청 시 중지)일 수도 있고 아닐 수도 있습니다.

ZY 레이어가 없는 구성에서 마스크의 위쪽 삼각형(입력 뒤)은 0으로 설정되며, 이는 기본 매트릭스에 피드백이 없음을 설명하고 레이어가 나타날 때 대각선에서 아래로 내려가면서 제로화가 추가됩니다. 사실 이것은 마스크의 테스트입니다.

일부 네트워크에서는 다른 레이어가 레이어 내에서 서로 다른 입력 처리 및 서로 다른 뉴런 연결을 갖기 때문에 레이어가 필요합니다. 사실 보편적인 네트워크를 구축한다는 목표의 실용성을 이해하지 못합니다. 뉘앙스가 있는 많은 네트워크가 있습니다(다른 레이어의 뉴런 기능, 연결, 웨이트 트레이닝 등). 하나의 모델로 모든 것을 설명하는 것은 불가능하거나 비효율적입니다. 다른 네트워크의 라이브러리를 생성하지 않는 이유는 무엇입니까?
 
gpwr :
다른 네트워크의 라이브러리를 생성하지 않는 이유는 무엇입니까?
에. 특정 메시용 GPU는 훨씬 더 빠릅니다.
 
더엑스퍼트 :
에. 특정 메시용 GPU는 훨씬 더 빠릅니다.
하지만. 이러한 접근 방식은 토폴로지의 유전적 교차 시도를 위한 세균조차 포함하지 않습니다.
 
메타드라이버 :
하지만. 이러한 접근 방식은 토폴로지의 유전적 교차 시도를 위한 세균조차 포함하지 않습니다.

하지만 지금 당신은 틀렸다. 첫째, 그리드의 출력을 다른 그리드의 입력에 적용할 수 없다면 이것은 어떤 그리드입니까?

둘째, 대부분의 경우 모든 토폴로지는 서로 다른 네트워크에 대한 기능이 있는 계층 을 구현하여 만들 수 있습니다.

레이어를 가중치(마스크 및 가중치 자체)와 연결하면 원하는 토폴로지 조합을 얻을 수 있습니다. 변환은 뉴런에 의해 수행되며 시냅스는 신호만 전송합니다.

중요한 것은 이 믹스가 의미가 있다는 것입니다.

유전학의 경우 유일한 필요 충분 조건은 산출물과 설정의 구름을 얻을 수 있는 가능성입니다. 그때 다 생각했어요.