Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2367

[Aleksey Vyazmikin]

mytarmailS:

Langer Seufzer... vergessen, müde)

384 GB RAM ??

Ich brauche nicht so viel - 64 sind es wert.

[mytarmailS]

Aleksey Vyazmikin:

Ich brauche nicht so viel - es kostet 64.

Ok, also, mal sehen, ich bin noch dabei, den Code selbst zu sortieren, wie man am besten macht, was optimiert werden kann, denke ich, ich probiere Optionen aus, ich will euch auch nicht umsonst belästigen, ich werde Koroch im Hinterkopf behalten...

[mytarmailS]

Aleksey Nikolayev:

Manche Dinge, die man im Nachhinein sehr mag, erscheinen einem zunächst unangenehm - Kaffee, Kaviar, Wasabi, Rockmusik usw.)

das stimmt, auch ich habe einige der Strukturen in P-Ka anfangs nicht verstanden, ich dachte, es sei Unsinn

Ich habe auch mit einigen Strukturen in p-ka herumgespielt, zuerst dachte ich, es sei Unsinn, zum Beispiel habe ich Schleifen benutzt, um alles zu schreiben und verstand die "apply"-Familie nicht, aber es stellte sich später heraus, dass ich in Sachen Lesbarkeit und Geschwindigkeit gewinnen konnte und ich konnte 6 Zeilen Code schreiben und eine Zeile Code machen

[Vladimir Perervenko]

mytarmailS:

Ich habe auch einige der Strukturen in p-ka anfangs nicht verstanden, ich dachte, es sei Unsinn.

Früher schrieb ich alles in einer Schleife und verstand die "apply"-Familie nicht, aber es stellte sich später heraus, dass ich mehr Lesbarkeit und Geschwindigkeit erreichen konnte und ich konnte 6 Zeilen Code schreiben und eine

Nicht nur gelten. Ich verwende oft foreach, da es parallelisiert werden kann, ohne den Code zu verändern... Manchmal ist der Iterator nützlich, probieren Sie ihn aus

library(coro)
abc <- generate_abc()
loop(for (x in abc) print(x))

Viel Glück!

[mytarmailS]

Vladimir Perervenko:

Nicht nur gelten. Ich verwende foreach häufiger, man kann es parallelisieren, ohne den Code neu zu schreiben... Manchmal ist der Iterator nützlich, probieren Sie ihn aus

Viel Glück!

Ich danke Ihnen!

[mytarmailS]

mytarmailS:

Ich danke Ihnen!

Was ist generate_abc? Ich verstehe es immer noch nicht, denn das Beispiel gibt einen Fehler

library(coro)
> abc <- generate_abc()
Error in generate_abc() : could not find function "generate_abc"

[Maxim Dmitrievsky]

Alle diese Operationen sind in Python

print([x for x in range(50)])

[Aleksey Nikolayev]

Dies alles begann in Lisp und ist besonders in der funktionalen Programmierung entwickelt, deren Elemente sowohl in R als auch in Python zu finden sind.

[Vladimir Perervenko]

Ich habe zufällig einen Artikel mit einer Aussage gelesen, die mich überrascht hat:Prädiktoren, Antworten und Residuen: Was muss wirklich normalverteilt sein?

Ein paar Zitate:

"Viele Wissenschaftler sind besorgt über die Normalität oder Nicht-Normalität von Variablen in der statistischen Analyse. Die folgenden und ähnliche Ansichten werden oft geäußert, veröffentlicht oder gelehrt:

• " Wenn man Statistik machen will, dann muss alles normal verteilt sein .
• " Wir haben unsere Daten normalisiert, um die Normalitätsannahme zu erfüllen .
• " Wir haben unsere Daten in ein Protokoll umgewandelt, da sie eine sehr schiefe Verteilung aufwiesen .
• "Nachdem wir das Modell angepasst haben, haben wir die Homoskedastizität der Residuen getestet .
• " Wir haben einen nicht-parametrischen Test verwendet, da unsere Daten nicht der Normalitätsannahme entsprachen" .

Und so weiter. Ich weiß, dass es komplizierter ist, aber es scheint immer noch so zu sein, dass die Normalverteilung das ist, was die Leute überall sehen wollen, und dass die Normalverteilung der Dinge die Tür zu sauberen und überzeugenden Statistiken und starken Ergebnissen öffnet. Viele Leute, die ich kenne, prüfen vor der Analyse regelmäßig, ob ihre Daten normalverteilt sind, und versuchen dann entweder, sie zu "normalisieren", z. B. durch eine logarithmische Transformation, oder sie passen die statistische Methode auf der Grundlage der Häufigkeitsverteilung ihrer Daten entsprechend an. Hier untersuche ich dies genauer und zeige, dass es vielleicht weniger Annahmen über Normalität gibt, als man denkt."

Weitere Begründungen für den Gedanken und die Schlussfolgerung:

" Warum werden Daten immer noch normalisiert?

Ein weiteres rätselhaftes Problem ist, warum die Leute immer noch dazu neigen, ihre Variablen (sowohl die Prädiktoren als auch die Antworten) zu "normalisieren", bevor sie ein Modell anpassen. Warum hat sich diese Praxis herausgebildet und durchgesetzt, auch wenn es keine Anhaltspunkte dafür gibt? Ich habe dazu mehrere Theorien: Unwissenheit, eine Tendenz, statistischen Kochbüchern zu folgen, Fehlerfortpflanzung usw. D.
Zwei Erklärungen erscheinen plausibler: Erstens normalisieren Menschen Daten, um Beziehungen zu linearisieren. So kann beispielsweise eine logarithmische Prädiktor-Transformation verwendet werden, um eine Exponentialfunktion mit dem üblichen Mechanismus der kleinsten Quadrate anzupassen. Dies mag normal erscheinen, aber warum wird die nichtlineare Beziehung dann nicht direkt im Modell spezifiziert (z. B. durch eine geeignete Referenzfunktion)? Darüber hinaus kann die Praxis der logarithmischen Antworttransformation zu schwerwiegenden Artefakten führen, z. B. im Fall von Zähldaten mit Nullzählungen (O'Hara & Kotze 2010).
Ein zweiter plausibler Grund für die "Normalisierung" der Praxis wurde von meiner Kollegin Catherine Mertes-Schwartz vorgeschlagen: Es könnte daran liegen, dass die Forscher versuchen, ein Problem zu lösen, und dass ihre Daten sehr ungeschickt und ungleichmäßig gesammelt wurden. Mit anderen Worten: Sehr oft hat man es mit Daten zu tun, bei denen eine große Anzahl von Beobachtungen in einem bestimmten Teil des Gradienten aggregiert ist, während der andere Teil des Gradienten relativ unterrepräsentiert ist. Dies führt zu verzerrten Verteilungen. Die Umwandlung solcher Verteilungen führt zu einer scheinbar regelmäßigen Verteilung der Beobachtungen entlang des Gradienten und zur Eliminierung von Ausreißern. Dies kann in der Tat in gutem Glauben geschehen. Aber auch das ist grundlegend falsch".

Für mich ist diese Aussage (schockierend?), ich kann das richtige Wort dafür nicht finden. Aber ich werde es in Zukunft im Hinterkopf behalten.

[Vladimir Perervenko]

Maxim Dmitrievsky:

Alle diese Operationen werden in Python durchgeführt.

Es geht nicht um Druck, sondern um Generatoren und Iteratoren.