Galateo del mercato o buone maniere in un campo minato - pagina 19

 
paralocus >> :

Qui c'è di più:

1. Un'altra opzione per infettare il sistema è introdurre un ulteriore input casuale in un neurone o gruppo di neuroni - l'organo.

2. "Organo" può essere rappresentato come un gruppo specializzato di neuroni con un feedback universale - cioè ogni neurone dell'organo "sa" cosa c'è nell'output di ogni altro neurone del suo gruppo (organo o famiglia), e ogni gruppo è consapevole di cosa c'è nell'output dell'organo. Un tale NS sarà capace di auto-adattamento dinamico e la necessità di apprendimento sarà una delle sue dominanti - cioè, il sistema può intenzionalmente e auto-motivatamente cercare e generalizzare la conoscenza di cui ha bisogno. Il nostro compito sarà quello di erigere ostacoli per esso e spargere pezzi di conoscenza qua e là -:)

Un vicolo cieco - se tutto è fatto correttamente (nell'organizzazione e nell'addestramento della rete), allora dopo un certo numero di iterazioni di addestramento il corpo sarà isolato.


Un'altra cosa -- "infettare" il processo di apprendimento introducendo una componente casuale relativamente piccola alla regola delta, questo aumenterà il tasso di apprendimento in alcuni casi, e anche di uscire efficacemente dai minimi locali. Questo è già un metodo provato.

 
TheXpert >> :

Un vicolo cieco - se tutto è fatto bene (nell'organizzazione e nell'addestramento della rete), allora dopo un certo numero di iterazioni di addestramento il corpo sarà isolato.



Non lo fai bene...

Un organo è un organo in modo che il fegato non interferisca con la funzione della milza. La rete non isolerà tutti gli organi perché questo è una riduzione critica dell'entropia per essa - la "morte".

Beh, se qualcosa cade, non era necessario.

 
paralocus писал(а) >>

Il tema principale di questo thread ho già avuto modo di apprezzarlo! -:) Sei un genio e non sto scherzando!

Ho un'idea. Molto probabilmente uno fresco. Ieri sera ho avuto un "corto circuito"... a tutti i livelli della mia rete neurale personale).

Il fatto è che ho studiato l'uomo per tutta la vita, e non solo nel contesto della sua realizzazione sociale e personale - perché tutto questo è "superficie" - ma come fenomeno olistico dell'essere e "contenitore di coscienza". Oggi, in una notte, tutto ciò che è stato accumulato durante molti anni è stato sistematizzato (auto-organizzato) da una semplice collezione ordinata di fatti e ipotesi in un'integrità a sé stante.

Non posso nascondere la mia eccitazione! Oh, bene... Questa era una digressione lirica.

L'idea è semplice:

Per aumentare la robustezza dei NS di qualsiasi scala o scopo, bisogna provarli... infettarli. Un virus è certamente fatale per la logica deterministica di una macchina di Turing - per la NS e l'intelligenza artificiale, con un'applicazione adeguata e "dosata" può rivelarsi solo "acqua viva". Ora parliamone uno per uno:

1. Tutti gli organismi viventi sono l'essenza delle reti neurali. L'affermazione può sembrare troppo audace, ma è un fatto fenomenologico.

2. Tutti gli organismi viventi sono posti in un ambiente aggressivo allo scopo di imparare - la chiamiamo evoluzione. Dobbiamo solo ricordare che insieme all'evoluzione delle forme, c'è una continua evoluzione delle coscienze individuali incarnate in quelle forme. La coscienza stessa è un effetto della complessità del sistema (rete neurale), e il suo "Planck" evolutivo - :), presumo - è il rapporto tra la complessità del sistema e l'entropia del sistema.

3. I sistemi la cui entropia è scesa sotto un certo limite si estinguono perché sono incapaci di ulteriore evoluzione, ma anche i sistemi la cui entropia è salita oltre un certo limite si autodistruggono. Da qui, la conclusione: affinché un sistema possa evolvere con successo, la sua entropia dovrebbe periodicamente, per un certo periodo di tempo, raggiungere i valori massimi ammissibili nel sistema dato. Un tale stato di cose lo chiamiamo "malattia". Dicendo la parola "malattia" la intendo in un senso piuttosto ampio - un criminale dall'aspetto abbastanza sano è un uomo malato. Solo che non è il suo corpo ad essere malato, ma la sua mente e il dolore che riceve, per lo più non sotto forma di febbre o influenza, ma sotto forma di una cosiddetta "croce pesante", "destino" e così via. Tuttavia, questo dolore "sociale" che ricevono è una sorta di influenza pedagogica del continuum evolutivo - innalzando l'entropia della creatura a limiti difficilmente sopportabili. Questo solleva una questione filosofica sull'insegnante e i suoi obiettivi... che, tuttavia, è ben oltre lo scopo della nostra discussione sul forum -:)

4. coloro che sopravvivono - hanno sviluppato l'immunità - nel senso più ampio - cioè non solo contro i germi patogeni e sociali, ma ciò che è ancora più importante per l'evoluzione - esterno transazionale e interno transazionale.

5. In qualsiasi sistema vivente ci sono tali "germi" che sicuramente lo uccideranno se la sua immunità è abbastanza indebolita. Perché la natura ha fatto questo? Esattamente allo scopo di aumentare la capacità dello stesso sistema di resistere ai fattori dell'ambiente attraverso un costante "allenamento" interno del sistema per la sopravvivenza e, di conseguenza, avere più opportunità (tempo) per continuare l'evoluzione individuale.

6. Supponiamo che il compito di un sistema in evoluzione sia quello di sviluppare l'immunità (in tutti i sensi). Poi si scopre una cosa interessante: il numero di ingressi dei NS viventi così come il numero di uscite (ancora meno) è ridicolmente piccolo in confronto al numero dei loro neuroni e connessioni! Cioè aumentiamo bruscamente il numero di neuroni nello strato intermedio (se ci sono tre strati - input, nascosto e output), e ora possiamo provare a "infettare" il NS. Questo può essere fatto introducendo un errore randomizzato misurato durante la correzione dei pesi! E andando un po' oltre, è possibile un allenamento alternativo del NS aumentando o diminuendo la frequenza o l'ampiezza di questo errore randomizzato.

Per esempio, prima della correzione dei pesi potremmo provare ad aggiungere un piccolo errore al correttore con una funzione che (casualmente) una volta su 1000 chiamate ad esso restituirebbe un valore casuale da un certo intervallo (ad esempio +0,01 / -0,01 ). Non si sa quando o quale neurone avrà un piccolo incremento errato. Più spesso si verificano tali incrementi - più alta è l'entropia del sistema. In questo caso la NS dovrà tener conto... il proprio errore!

Ecco un altro punto importante:

1. Un'altra variante della contaminazione del sistema - l'introduzione di un ulteriore input casuale in un neurone o un gruppo di neuroni - un organo.

2. "Organo" può essere rappresentato come un gruppo specializzato di neuroni che hanno un feedback universale - cioè ogni neurone dell'organo "sa" cosa c'è all'uscita di ogni altro neurone del suo gruppo (organo o famiglia), e ogni gruppo è consapevole di cosa c'è all'uscita dell'organismo. Un tale NS sarà capace di auto-adattamento dinamico e la necessità di apprendimento sarà una delle sue dominanti - cioè, il sistema può intenzionalmente e auto-motivatamente cercare e generalizzare la conoscenza di cui ha bisogno. Il nostro compito sarà quello di mettere ostacoli e spargere pezzi di conoscenza qua e là -)

+5

Anch'io ho pensato a qualcosa del genere. Un sacco di dipendenze interessanti e non banali si aprono quando si lavora con l'IA.

Per esempio, non molto tempo fa ho capito perché abbiamo bisogno di sogni... Si scopre che durante il sonno il nostro cervello esercita le sinapsi sperimentando ciò che abbiamo visto prima, eliminando così la loro inevitabile distrofia (è un oggetto biologico, in cui i processi di scambio sono costantemente in corso e si accumulano errori). Se non avessimo fatto un sogno, avremmo perso tutte le capacità cognitive e la memoria a lungo termine in un anno! - Saremmo stati ridotti a semplici cose che possono ricordare solo ciò che vedono. Esperienze potenti (legate a eventi che cambiano la vita) ci perseguitano continuamente nel sonno, cementando così la conoscenza utile con un'ascia.

 
Neutron >> :

Esperienze potenti (relative a eventi che cambiano la vita) ci perseguitano continuamente nei nostri sogni, cementando così la conoscenza utile con un'ascia.

Beh, questo è gestibile. Il contesto di apprendimento non deve essere necessariamente negativo. Per un sistema che ha "afferrato" ciò che ci si aspetta da lui e "accettato" questo obiettivo come proprio (come scopo primario = significato della vita) i sogni cessano di essere incubi e nei sogni l'apprendimento può essere continuato a velocità molto elevate.

 
Neutron penso che se passiamo completamente all'apprendimento manipolando l'entropia del sistema, i minimi locali scompariranno come classe. Tuttavia, l'addestramento può richiedere molte più epoche e non tutte le griglie saranno in grado di completarlo. Ma quelli che possono... Non posso nemmeno immaginare di cosa saranno capaci.
 
Neutron >> :


Neutron, vorrei ancora parlare dello sbiancamento degli ingressi, e della diffusione dell'errore anche ai livelli successivi

 

Ciao, paralocus.

Attualmente sto pasticciando con lo Zig-Zag di Matkad - (da qualche parte nella mia testa c'è un glitch) e allo stesso tempo sto normalizzando i dati di input per il NS. Ecco cosa ho ottenuto l'ultima volta: supponiamo di avere dati di input con una distribuzione arbitraria di incrementi, definiti sulla linea dei numeri interi. Abbiamo bisogno di trovare un algoritmo per mappare questa distribuzione in un intervallo +/-1 con una distribuzione di funzione di densità di probabilità (SP) shelved.

Prendiamo la serie EURUSD 1m come esempio e tracciamo la distribuzione SP della differenza d[i]=Open[i]-Open[i+1] fig. a sinistra:

Una buona distribuzione esponenziale è stata ottenuta e la convertiremo in un ripiano unitario. Per fare questo costruiamo la PDF di SP semplicemente trovando la somma commutativa da SP (Fig. a destra) e adattando ogni ramo a 1 tenendo conto del segno del ramo (avendo precedentemente spostato la curva del suo valore corrispondente a "zero" al massimo della distribuzione SP). Abbiamo ottenuto un modello simile al sigmoide. Ora, prendiamo la serie iniziale di incrementi e agiamo su ciascuno di essi con il nostro sigmoide come operatore, che li mapperà su un ripiano unitario. Per fare questo, sostituisco semplicemente il valore di incremento d[i] come argomento del sigmoide risultante:

Il risultato è qualcosa che non è esattamente da scaffale, ma ci si avvicina. Confrontalo con la distribuzione originale. La spaziatura al centro della distribuzione risultante è inevitabile, perché dobbiamo allungare da qualche parte per renderla più spessa. Penso che sia un perfetto cocktail d'ingresso per NS.

P.S. Mi chiedo perché non abbia fatto uno scaffale perfetto. È fondamentalmente impossibile e una limitazione del metodo, o mi manca qualcosa nella costruzione?

 
Evviva! Avevo paura che tu perdessi improvvisamente interesse... -:)

Andrò in fondo a quello che hai scritto e ti risponderò.

 
Neutron >> :

P.S. Mi chiedo perché non esiste uno scaffale perfetto. È fondamentalmente impossibile e una limitazione del metodo, o mi manca qualcosa nella costruzione?

Ci ho pensato anche ieri... (naturalmente non matematicamente come te - non posso farlo in quel modo) in generale, ho il sospetto che ci sia una ragione per questo! Quindi non ti manca nulla.

C'è qualcosa di speciale nelle proprietà d[i]=Open[i]-Open[i+1]. C'è un'intuizione che in questo caso abbiamo una BP frattale come input, che è attentamente influenzata da un operatore continuo (ad esempio th(x) o sigmoide), quindi uno scaffale ideale non funzionerà - la distribuzione di probabilità Open[i]-Open[i+1] è molto probabilmente hurstiana. Io ne ho uno più grezzo, per cui la parte centrale - 0 manca del tutto. A proposito, perché prende l'Orap?

 

Non mi piace armeggiare con qualcosa che non è stato formato. È un'abitudine di Matkad, è come due dita sul marciapiede per "guardare" in un futuro non previsto quando si prova il TS! L'unica garanzia contro questo è costituita da barre formate, o prezzi di apertura. Certamente non rimbalzano.

Dammi un suggerimento, qual è il tuo problema con la correlazione dei segnali di ingresso? Cosa usate per l'input e perché pensate che il problema esista? Dopo tutto, è più facile assicurarsi che non esista che risolverlo :-)