C'è uno schema nel caos? Proviamo a trovarlo! Apprendimento automatico sull'esempio di un campione specifico. - pagina 7

 
Aleksey Vyazmikin #:
Posso dirvi quali predittori ha usato uno dei modelli - controllate se l'addestramento è andato a buon fine (non ho quasi dubbi) - ne avete bisogno?

Potete mettere i numeri delle colonne tra virgole. Sarebbe interessante fare un confronto.

 
elibrarius #:

È possibile inserire i numeri delle colonne tra le virgole. È interessante fare un confronto.

La prima colonna è uno zero o un "1"? :)

Ecco il conteggio degli zero

1,225,345,625,702,725,779,798,841,1104,1118,1268,1337,1357,1639,1737,1922,1937,2027,2043,2125,2239,2354,2474,2475,2507,2796,2816,2953,3012,3207,3228,3378,3671,3717,3726,3734,3864,3927,3982,4522,4560,5007,5029,5129,5313,5359,5548
 

Ecco un'altra variante: mi piace ancora di più, perché è un risultato stabile su tutti i campioni.

606,1048,1060,1083,1095,1103,1108,1110,1137,1198,1347,1353,1511,1525,1526,2055,2581,2582,3078,3153,3273,3341,3676,3690,3695,3839,3919,3967,4397,4433,5052,5364,5579



Equilibrio

 
Aleksey Vyazmikin #:

La prima colonna è zero o "1"? :)

È zero.

Io ho 0. Proverò a insegnarlo domani.
 
elibrarius #:
Sono a 0. Proverò ad allenarlo domani.

Dovrebbe funzionare - ci sono pochi predittori. Anche se per lo screening ho usato il mio metodo, creando tabelle quantistiche forzate, e poi l'algoritmo ha fatto una selezione da esse.

La domanda è come si possono definire gli attributi del predittore per imparare a selezionarli prima dell'addestramento....

 
Aleksey Vyazmikin:

Есть ли закономерность в хаосе?


L'affermazione stessa della domanda è sbagliata! La definizione stessa di "CHAOS" è uno stato in cui le regolarità sono FUORI....

Bisogna partire non dal CHAOS, ma dalla ricerca di uno stato simile al MERCATO!

E non sarà il caos, ma uno stato intermedio tra il caos e i dati ordinati.....

E cercare modelli nel caos è una follia.... (leggere la definizione di "caos")....

 
Il mercato è un caos completo, ma bisogna essere in grado di vedere un sistema in esso. O, per essere più precisi, guidare il mercato nell'alveo del sistema.
 
webgopnik #:
Il mercato è un caos completo, ma bisogna essere in grado di vedere un sistema in esso. O, per essere più precisi, guidare il mercato nel letto procelloso del sistema.

È un po' come l'espressione: "Trasforma la merda in caramelle!". - saggezza popolare...


In realtà, tutto è esattamente il contrario: il mercato è un SISTEMA! E bisogna curare il proprio cervello dal caos per capire questo sistema....

 
Aleksey Vyazmikin #:

Dovrebbe funzionare: ci sono pochi predittori. Tuttavia, per lo screening ho utilizzato il mio metodo, creando tabelle quantistiche forzate, e poi l'algoritmo ha effettuato una selezione da queste.

La questione è come definire gli attributi dei predittori per imparare a selezionarli prima della formazione....

A proposito, i vostri dati possono davvero essere definiti Big Data...

250 milioni di celle in una tabella.

Quanto tempo impiega catbust per addestrare 1 modello su un set di dati completo?

 
elibrarius #:

A proposito, i vostri dati possono davvero essere attribuiti a Big Data.....

250 milioni di celle in un foglio di calcolo.

Sì, ci sono molti dati e ho intenzione di aggiungerne altri, quindi è necessario sviluppare una metodologia di screening pre-training.

elibrarius #:

Quanto tempo impiega catbust per addestrare un modello su un set di dati completo?

Lo sto addestrando proprio ora, e dirò che molto dipende dalle impostazioni, in particolare dal numero di split nelle tabelle quantistiche.

Ho appena iniziato un esperimento, in cui l'addestramento avviene con le impostazioni predefinite della scheda video - un passaggio, senza tenere conto della valutazione del modello e del test sul campione d'esame, richiede 2-3 minuti - a seconda del numero di alberi risultanti nel modello. Sul mio processore FX-8350, già piuttosto datato, è circa il 60% più lento.

Ritengo che la velocità sia abbastanza accettabile, di solito alleno 100 modelli con un seme fisso, il che rappresenta una media dell'efficacia del metodo.

Se si addestra fino alla "fine", il programma stima un tempo fino a 2 ore.