Gibt es ein Muster in diesem Chaos? Lassen Sie uns versuchen, es zu finden! Maschinelles Lernen am Beispiel einer bestimmten Stichprobe. - Seite 7

 
Aleksey Vyazmikin #:
Ich kann Ihnen sagen, welche Prädiktoren eines der Modelle verwendet hat - prüfen Sie, ob Sie erfolgreich trainiert haben (ich habe fast keine Zweifel) - müssen Sie das?

Sie können die Spaltennummern in Kommas setzen. Es wäre interessant zu vergleichen.

 
elibrarius #:

Sie können die Spaltennummern in Kommas setzen. Es ist interessant, zu vergleichen.

Ist die erste Spalte eine Null oder eine "1"? :)

Das ist die Null.

1,225,345,625,702,725,779,798,841,1104,1118,1268,1337,1357,1639,1737,1922,1937,2027,2043,2125,2239,2354,2474,2475,2507,2796,2816,2953,3012,3207,3228,3378,3671,3717,3726,3734,3864,3927,3982,4522,4560,5007,5029,5129,5313,5359,5548
 

Hier ist eine andere Variante, die mir noch besser gefällt, da sie bei allen Proben ein stabiles Ergebnis liefert.

606,1048,1060,1083,1095,1103,1108,1110,1137,1198,1347,1353,1511,1525,1526,2055,2581,2582,3078,3153,3273,3341,3676,3690,3695,3839,3919,3967,4397,4433,5052,5364,5579



Bilanz

 
Aleksey Vyazmikin #:

Ist die erste Spalte Null oder "1"? :)

Das ist die Null.

Ich habe 0. Ich werde morgen versuchen, es zu lehren.
 
elibrarius #:
Ich bin 0. Ich werde morgen versuchen, es zu trainieren.

Es sollte funktionieren - es gibt nur wenige Prädiktoren. Allerdings habe ich für das Screening meine eigene Methode verwendet, indem ich Forced-Quantum-Tabellen erstellt habe, aus denen der Algorithmus dann eine Auswahl getroffen hat.

Die Frage ist hier, wie man die Attribute der Prädiktoren definieren kann, um zu lernen, wie man sie vor dem Training auswählt....

 
Aleksey Vyazmikin:

Есть ли закономерность в хаосе?


Schon die Formulierung der Frage ist falsch! Die eigentliche Definition von "CHAOS" ist ein Zustand, in dem Regelmäßigkeiten AUSSERHALB.... sind.

Es ist notwendig, nicht mit CHAOS zu beginnen, sondern mit der Suche nach einem Zustand, der dem MARKT ähnlich ist!

Und das wird nicht das Chaos sein, sondern ein Zwischenzustand zwischen Chaos und geordneten Daten.....

Und im Chaos nach Mustern zu suchen, ist Dummheit.... ( Lesen Sie die Definition von "Chaos" )....

 
Der Markt ist ein völliges Chaos, aber man muss in der Lage sein, darin ein System zu sehen. Oder, um genauer zu sein, den Markt in das prokrustesartige Bett des Systems zu treiben.
 
webgopnik #:
Der Markt ist ein völliges Chaos, aber man muss in der Lage sein, darin ein System zu sehen. Oder, um genauer zu sein, den Markt in das prokrustesartige Bett des Systems zu treiben.

Es ist ein bisschen wie die Redewendung: "Aus Scheiße macht man Bonbons!" - Eine Volksweisheit...


In Wirklichkeit ist alles genau das Gegenteil: Der Markt ist ein SYSTEM! Und man muss sein Gehirn vom Chaos heilen, um dieses System zu verstehen....

 
Aleksey Vyazmikin #:

Es sollte funktionieren - es gibt nur wenige Prädiktoren. Allerdings habe ich für das Screening meine eigene Methode verwendet, indem ich Forced-Quantum-Tabellen erstellt habe, aus denen der Algorithmus dann eine Auswahl getroffen hat.

Die Frage ist hier, wie man die Attribute der Prädiktoren definieren kann, um zu lernen, wie man sie vor dem Training auswählt....

Übrigens, Ihre Daten können wirklich als Big Data bezeichnet werden...

250 Millionen Zellen in einer Tabelle.

Wie lange braucht catbust, um ein Modell auf einem vollständigen Datensatz zu trainieren?

 
elibrarius #:

Übrigens, Ihre Daten - können wirklich auf Big Data zurückgeführt werden.....

250 Millionen Zellen in einer Tabellenkalkulation.

Ja, das sind eine Menge Daten, und ich habe vor, noch mehr hinzuzufügen - daher ist die Entwicklung einer Screening-Methode vor dem Training erforderlich.

elibrarius #:

Wie lange braucht catbust, um 1 Modell auf einem vollständigen Datensatz zu trainieren?

Ich bin gerade dabei, es zu trainieren, und ich muss sagen, dass viel von den Einstellungen abhängt, insbesondere von der Anzahl der Splits in den Quantentabellen.

Ich habe gerade ein Experiment gestartet, bei dem das Training mit den Standardeinstellungen der Grafikkarte durchgeführt wird - ein Durchlauf, ohne Berücksichtigung der Modellbewertung und des Tests an der Prüfungsprobe, dauert 2-3 Minuten - je nach der resultierenden Anzahl der Bäume im Modell. Auf meinem bereits recht veralteten FX-8350-Prozessor ist es etwa 60% langsamer.

Ich denke, dass die Geschwindigkeit durchaus akzeptabel ist, ich trainiere in der Regel 100 Modelle mit einem festen Seed, was die Effektivität der Methode im Durchschnitt zeigen würde.

Wenn man bis zum "Ende" trainiert, schätzt das Programm die Zeit auf bis zu 2 Stunden.

Grund der Beschwerde: