트레이딩의 머신러닝: 이론, 모델, 실전 및 알고리즘 트레이딩 - 페이지 2831

 
Aleksey Nikolayev #:

나는 그 질문을 자세히 연구하지 않았습니다. 아이디어는 간단해 보이지만 구현 방법에는 많은 기술적 미묘함이 있습니다.

노이즈 함수에서 최대값을 찾는다는 것이 무엇을 의미하는지에 대한 질문도 있습니다.....

내가 이해 한 정의- "노이즈 함수 최적화"-함수가 복잡하고 최대 값을 찾기가 어렵고 그라디언트 알고리즘을 적용 할 수 없다는 것을 의미합니다 ... 대략적으로 말하면, 그것은 큰 문제가 아니며 글로벌 최적화 알고리즘을 적용하고 그는 글로벌 최대값을 찾으러 갔다....


하지만 저는 다르게 생각해서 노이즈가 있는 함수의 최대값을 찾고 싶지만 노이즈가 있는 함수의 글로벌 최대값이 아니라 노이즈가 제거된 함수의 글로벌 최대값을 찾고 싶어요....

(그리고 함수가 알려지지 않았고 노이즈 매개 변수도 알려지지 않았기 때문에 사소한 일이 아닙니다....

What optimization algorithm can be used to find the maximum in a noisy multidimensional parameter space
What optimization algorithm can be used to find the maximum in a noisy multidimensional parameter space
  • 2022.12.07
  • mr.T mr.T 113 6 6 bronze badges
  • stats.stackexchange.com
I tried several algorithms that seem to be able to handle this, but it didn't work for me. Here is my fitness function which just looks for the max by index
 
СанСаныч Фоменко #:

1. Dick의 질문은 완벽하게 타당하고 올바른 질문입니다. 저는 NS를 사용하지 않지만 모든 R 패키지의 모든 함수에는 반드시 알고리즘 작성자에 대한 참조가 포함되어 있으며, 심각한 알고리즘의 경우 R에서 구현 된 알고리즘을 설명하는 기사 / 책에 대한 참조가 포함되어 있다는 것을 알고 있습니다. NS에 대해 잘 알고 있기 때문에 R을 사용하는 경우 R에서 해당 유형의 NS를 검색하고 해당 알고리즘이 설명 된 해당 참조를 찾고 알고리즘에 대한 토론을 찾고 전문가의 모든 뉘앙스를 찾을 수 있습니다 ... 그리고 외설적 인 것을 중얼 거리는 대신 가장 높은 전문가 수준에서 딕에게 대답하십시오.


2. 이름 별 R : 통계 및 그래픽 언어. R의 본질은 참조 장치의 루 브릭을 보여줍니다.

다음은 R 패키지가 다루는 주제 목록입니다. 주제 중 하나는 기계 학습입니다.

다음은 MO와 관련된 패키지 목록입니다.

몇 년 전만 해도 다른 전문 통계 언어 중에서 R의 경쟁자를 찾을 수 있었습니다. 예를 들어, SPPS는 오늘날에는 찾을 수 없습니다. R은 지원 및 관리되는 유일한 통계 언어로 남아 있으며, Microsoft 소프트웨어에 포함된 수많은 미러가 있습니다.


3. R과 Python을 비교하는 것은 완전히 정당화되지 않습니다.

R은 전문 언어입니다. Python은 보편적인 언어입니다. 파이썬은 사용자 수에서 R을 훨씬 능가하지만, 파이썬의 대량 사용자는 웹 디자인입니다. 파이썬에 통계 패키지가 있다는 사실만으로 파이썬을 통계 언어로 분류할 수는 없습니다. 이에 따라 R과 Python에서 사용되는 패키지가 모두 구현된 C++를 통계 언어로 분류할 수 있습니다. 상세한 루브릭과 제안된 함수의 알고리즘에 대한 참조로 인해 R은 통계의 이론과 실무를 공부하는 데 사용할 수 있지만 Python은 그렇지 않습니다.

그리고 여기서는 "기계 학습은 거래에서 고전 통계에 비해 더 많은 가능성을 제공한다"는 것을 잊었 기 때문에 Prado를 인용하지만 그대로 인용하지는 않겠습니다.

그리고 MO 바이블은 파이썬을 위해 매우 잘 개발되었지만 다른 사람들도 통계 모델을 좋아합니다. 따라서 이러한 사실에 대해 논쟁하고 서로에게 무언가를 증명하는 것은 무의미합니다.

제가 알기로는 R은 학생과 교수, 취미로 사용하는 사람들을 위한 언어입니다. 그래서 서로 인용하고 자랑할 수 있습니다. 교수의 경우, 아마도 가르치는 교수님들이겠죠. 파이썬은 진지한 프로젝트와 프로덕션을 위한 거죠. 프로덕션에서 R을 사용하는 주요 MO 프로젝트에 대해 들어본 적이 없습니다.
 
Maxim Dmitrievsky #:

그리고 여기서는 "기계 학습은 거래에서 고전 통계에 비해 더 많은 가능성을 제공한다"는 것을 잊었기 때문에 Prado의 말을 그대로 인용하지는 않겠습니다.

다른 사람들도 통계 모델을 좋아하지만 MO 바이블은 파이썬 용으로 매우 잘 개발되어 있습니다. 따라서 이러한 사실에 대해 논쟁하고 서로에게 무언가를 증명하는 것은 무의미합니다.

제가 알기로는 R은 학생과 교수, 취미로 사용하는 사람들을 위한 언어입니다. 그래서 서로 인용하고 자랑할 수 있습니다. 교수의 경우, 아마도 가르치는 교수님들이겠죠. 파이썬은 진지한 프로젝트와 프로덕션을 위한 거죠. 프로덕션에서 R을 사용하는 주요 MO 프로젝트에 대해 들어본 적이 없습니다.

왜 스스로도 모른다고 주장하는 것에 대해 논쟁을 벌이는 건가요?

Microsoft는 R을 많은 개발자가 대규모 프로젝트를 개발하는 도구로 만들기 위해 노력해 왔습니다.

다음은 R로 작업할 수 있는 Microsoft 제품/서비스 목록입니다:
.
  1. Microsoft R 서버 / Azure용 R 서버 HDInsight
  2. 데이터 과학 VM
  3. Azure 머신 러닝
  4. SQL Server R 서비스
  5. Power BI
  6. Visual Studio용 R 도구

어떤 종류의 취미 활동가, 어떤 종류의 교수에게 Microsoft R Server 에코시스템이 필요할까요?



그리고 모든 것을 통합할 수 있는 VM 가상 머신이 필요하신가요?

머신 러닝 패키지와 공동 개발 도구가 포함된 Azura 클라우드 서비스는요?


이제 R은 Microsoft가 자체 개발 및 타사 개발과 통합한 산업용 시스템입니다.


그리고 여러분은 "아마추어용"...

 
СанСаныч Фоменко #:

왜 스스로도 모른다고 주장하는 것에 대해 추측을 하는 건가요?

Microsoft는 R을 많은 개발자가 대규모 프로젝트를 개발할 수 있는 도구로 만들기 위해 노력해 왔습니다.

다음은 R로 작업할 수 있는 Microsoft 제품/서비스 목록입니다:
.
  1. Microsoft R 서버 / Azure용 R 서버 HDInsight
  2. 데이터 과학 VM
  3. Azure 머신 러닝
  4. SQL Server R 서비스
  5. Power BI
  6. Visual Studio용 R 도구

어떤 종류의 취미 활동가, 어떤 종류의 교수에게 Microsoft R Server 에코시스템이 필요할까요?



그리고 모든 것을 통합할 수 있는 VM 가상 머신이 필요하신가요?

머신 러닝 패키지와 공동 개발 도구가 포함된 Azura 클라우드 서비스는요?


이제 R은 Microsoft가 자체 개발 및 타사 개발과 통합한 산업용 시스템입니다.


그리고 여러분은 "아마추어용"...

"뭔가 있다"는 것은 분명합니다.

저는 적어도 러시아에서 대규모 구현자를 포함한 구현자와 의사 소통 한 경험에서 말하고 있습니다.

그들은 모두 파이썬으로 해냈습니다.

Microsoft에는 C#과 Asure로 된 머신 러닝용 SDK가 있지만 아무도 사용하지 않습니다.

그래서 R로 큰 프로젝트를 만들어 서버에 올려놓았죠. 그리고 누가 그것을 유지 관리할까요? 그런 양의 전문가가없고 아무도 하나의 통계 때문에 R을 배우고 싶어하지 않기 때문에 아무도 없습니다.

파이썬의 경우 아무 학생이나 소시지 한 덩어리로 고용하면 괜찮을 것입니다.

"아무도"라는 말은 어떤 명분으로도 R을 쓰는 사람이 없다는 뜻입니다. 파이썬이 있기 때문입니다.

쓸모없는 언어에 시간을 낭비하게 하려고 트레이더들이 R로 작성하도록 유도하는 것이죠.

 
mytarmailS #:

노이즈 함수에서 최대값을 찾는다는 것이 무엇을 의미하는지에 대한 질문도 있습니다...

내가 정의를 이해했듯이- "노이즈 함수의 최적화"는 함수가 복잡하고 그 안에서 최대 값을 찾기가 어렵고 그라디언트 알고리즘을 적용 할 수 없다는 것을 의미합니다.... 대략적으로 말하면, 그것은 큰 문제가 아니며 글로벌 최적화 알고리즘을 적용하고 글로벌 최대 값을 검색합니다....


하지만 저는 다르게 봅니다. 노이즈가 있지만 노이즈가 제거 된 함수의 최대값을 찾고 싶지만 노이즈 함수의 글로벌 최대값이 아니라 노이즈가 제거 된 함수의 글로벌 최대값을 찾고 싶습니다....

(그리고 함수가 알려지지 않았고 노이즈 매개 변수가 알려지지 않았기 때문에 사소한 일이 아닙니다....

노이즈에 대한 선험적 정보가 필요합니다. 또한 노이즈에 대한 명확한 매트릭스 모델(덧셈, 곱셈 또는 다른 것)이 필요합니다. 모델 없이는 필터를 만들 수 없습니다. 그리고 이 모델은 실제 데이터와 유사해야 합니다.

2차원 또는 3차원 데이터에서 작동하는 지리 데이터 처리 방법을 살펴봐야 할 수도 있습니다. 또는 jpg 이미지와 같은 푸리에 변환이나 새 버전의 jpg에서와 같은 웨이블릿, 다차원 스플라인 등과 같은 것일 수도 있습니다.

 
Maxim Dmitrievsky #:

"싸우고 찾아서 숨어라"라는 슬로건을 인용하고 싶습니다.

사용자 정의 메트릭, 특히 이러한 표준 메트릭으로 기준을 설정할 수 있습니다. 여전히 로그 로스를 기준으로 최적화되지만 다음과 같은 사용자 지정 기준에서 멈추게 됩니다.

왜냐하면 동일한 버스팅에서 멈추는 것은 항상 정확도와 같은 일부 캐스트 기준을 기반으로 하기 때문입니다.

지금까지는 이렇게만 하는 것 같습니다. 사용자 지정 기준에 따라 트리 가지치기를 할 수도 있습니다.

 
Maxim Dmitrievsky #:

"있다"는 것은 분명합니다.

저는 적어도 러시아 연방에서 대규모 구현자를 포함한 구현자와 의사 소통 한 경험을 바탕으로 말합니다.

모든 것이 파이썬으로 이루어졌습니다.

Microsoft는 C # 및 Asure에서 기계 학습을위한 SDK를 가지고 있지만 아무도 사용하지 않습니다.

그래서 R로 큰 프로젝트를 만들어 서버에 올려 놓았습니다. 그리고 누가 그것을 유지 관리할까요? 전문가가 그렇게 많지 않고 한 가지 통계 때문에 아무도 R을 배우려고하지 않기 때문에 아무도 없습니다.

그리고 파이썬의 경우 소시지 한 덩어리로 아무 학생이나 고용하면 괜찮을 것입니다.

"아무도"는 어떤 명분으로도 R로 작성하는 사람이 없다는 뜻입니다. 파이썬이 있으니까요.

트레이더들이 R로 작성하도록 유도하면 쓸모없는 언어에 시간을 낭비하게 됩니다.

RF는 매트스탯의 의미에서 매우 휴면 상태이기 때문에 나쁜 예입니다. 우리 포럼에는 기술자들로 가득 차 있지만, 대부분 matstat에 대한 개념이 매우 부족합니다. 연구소에서 교수들은 Excel로 matstat을 가르칩니다.) 이 모든 것이 우리 과학 기술 학교의 특징입니다. 소련 시대의 심각한 솔루션은 국내에서 개발되기보다는 해외에서 기성품으로 구입하는 경우가 훨씬 더 많습니다.

 
Aleksey Nikolayev #:

노이즈에 대한 선험적 정보가 필요하다는 정답을 맞혔습니다. 또한 덧셈, 곱셈 또는 기타 노이즈에 대한 명확한 매트릭스 모델이 필요합니다. 모델 없이는 필터를 만들 수 없습니다. 그리고 이 모델은 실제 데이터와 유사해야 합니다.

2차원 또는 3차원 데이터에서 작동하는 지리 데이터 처리 방법을 살펴봐야 할 수도 있습니다. 또는 jpg 이미지와 같은 푸리에 변환이나 새 버전의 jpg에서와 같은 웨이블릿, 다차원 스플라인 등과 같은 것일 수도 있습니다.

문제 없이 모델을 만들 수 있고, 어떤 분해도 가능하며, 심지어 PCA도 가능합니다.

하지만 데이터는 어떨까요? 존재하지도 않고, 알 수 없는 함수이고, 심지어 다차원적인... ....

모든 데이터는 AO 검색 결과의 흩어진 지점입니다(저장하는 경우).

시계열이 아니며 구조나 순서도 없습니다.

 
Aleksey Nikolayev #:

RF는 매트스탯의 의미에서 매우 어리석기 때문에 나쁜 예입니다. 우리 포럼은 기술자들로 가득 차 있지만 대부분은 matstat에 대한 아이디어가 매우 부족합니다. 연구소에서 교수들은 Excel에서 matstat을 가르칩니다.) 이 모든 것이 우리 과학 기술 학교의 특징입니다. 소련 시대의 심각한 솔루션은 국내에서 개발되기보다는 해외에서 기성품으로 구입하는 경우가 훨씬 더 많습니다.

나중에 Excel이 더 유용 할 것입니다 :D

 
mytarmailS #:

어떤 모델도, 어떤 분해도, 심지어 PCA도 문제없이 만들 수 있고 계속 진행할 수 있습니다.

하지만 데이터는 존재하지 않고, 알 수 없는 함수이고, 다차원적인데... 데이터는 어떨까요?

데이터는 AO 검색의 흩어진 점들입니다(저장한 경우).

시계열이 아니며 구조나 순서도 없습니다.

가장 먼저 떠오르는 것은 너무 크거나 작지 않은 셀로 공간을 그리드로 나누는 것입니다(크기는 노이즈 모델에 따라 결정됨). 일부 (예를 들어 무작위로 선택된) 셀에서 시작하여 몇 개의 점으로 평활화 함수의 기울기 방향을 결정하고 전환이나 반복이 없을 때까지 다음 셀로 이동하는 식으로 진행합니다. 극단의 위치는 셀의 크기에 맞게 정확하게 설정되므로 너무 크지 않아야하지만 동시에 평활화 가능성을 제공해야하므로 너무 작지 않아야합니다. 그리고 스무딩 방법에 따라 달라지기 때문에 원칙적으로 극단의 정확한 위치가 없다는 사실을 받아들여야 합니다.

사유: