Regressione bayesiana - Qualcuno ha fatto un EA usando questo algoritmo? - pagina 38

 
Vasiliy Sokolov:
Sottoscrivo ogni parola. Che senso ha costruire una regressione se le caratteristiche di questa regressione saranno assolutamente diverse nella parte successiva? Potete modificare il modello per adattarlo ai dati quanto volete, ma è più facile ammettere semplicemente che Y (prezzo) non dipende da X (tempo), almeno in termini di regressione lineare.

Questo è un altro esempio di buon senso.

Un mio collega stava studiando Data Science in Coursera e ha fatto un progetto di laurea in cui ha costruito un'approssimazione di regressione lineare su una serie generata casualmente (una martingala, o si potrebbe dire un processo di Wiener con incrementi normalmente distribuiti) e ha dimostrato come sul segmento successivo della serie tutti i parametri di regressione sono andati alla deriva in modo totalmente imprevedibile. Problema del giocattolo.

Se dovessi usare la regressione (propenderei per la regressione a pettine, anche se non conosco molto bene il principio), la farei sugli incrementi di prezzo o sulle derivate di prezzo. E poi c'è la possibilità di ottenere metriche robuste. Ma anche in questo caso non è realistico ottenere residui normalmente distribuiti.

 
Alexey Burnakov:

Questo è un altro esempio di buon senso.

Un mio collega stava studiando Data Science in Coursera e ha fatto un progetto di laurea in cui ha costruito un'approssimazione di regressione lineare su una serie generata casualmente (una martingala, o si potrebbe dire un processo di Wiener con incrementi normalmente distribuiti) e ha dimostrato come sul segmento successivo della serie tutti i parametri di regressione sono andati alla deriva in modo totalmente imprevedibile. Problema del giocattolo.

Se dovessi usare la regressione (propenderei per la regressione a pettine, anche se non conosco molto bene il principio), la farei sugli incrementi di prezzo o sulle derivate di prezzo. E poi c'è la possibilità di ottenere metriche robuste. Ma anche in questo caso è irreale ottenere residui normalmente distribuiti.

;)

Per la regressione a cresta non è richiesta la normalità della distribuzione dei residui.

Laregressione bayesiana è simile alla regressione a pettine, ma si basa sul presupposto che il rumore sia normalmente distribuito nei dati - quindi si presume che esista già una comprensione generale della struttura dei dati, e questo rende possibile ottenere un modello più accurato rispetto alla regressione lineare.

 
La regressione Ridge risolve il problema della multicollinearità - se ci sono così tante variabili indipendenti correlate tra loro
 
Дмитрий:

;)

Per la regressione a cresta, la normalità della distribuzione dei residui non è richiesta.


Beh, confesso che non conosco molto bene la sottospecie di regressione. Ma il fatto che la normalità dei residui non sia richiesta è molto buono. E la regressione ridge può essere più applicabile ai mercati. Si impongono delle restrizioni sui valori dei coefficienti. Conosco esempi in cui questo tipo di regressione sulle quotazioni ha dato risultati robusti.

C'è anche una regressione con regolazione L2 quando è possibile degenerare i coefficienti di alcuni regressori a zero. È utile quando ci sono molti regressori e abbiamo bisogno di diminuire la dimensionalità del vettore di input.

Ma senza conoscere i dettagli, può essere pericoloso addentrarsi nel labirinto della matrice di regressione.

 
Дмитрий:
La regressione Ridge risolve il problema della multicollinearità - se ci sono così tante variabili indipendenti correlate tra loro

E questo è anche un aspetto estremamente utile della regressione di cresta.

In pratica, ottenere l'indipendenza tra i regressori è quasi irrealisticamente difficile, e la presenza di collinearità distorce tutte le statistiche in una regressione lineare ordinale. Quindi, come giustamente sottolinea SanSanych, l'applicabilità del metodo viene prima.

 
Alexey Burnakov:


C'è anche la regressione con L2-regolazione, quando è possibile degenerare i coefficienti sui singoli regressori a zero. Questo è utile se ci sono molti regressori e abbiamo bisogno di ridurre la dimensionalità del vettore di input.


Regressione lazo? Sì, esiste una cosa del genere.

In pratica, è più conveniente usare la regressione di cresta - è implementata come una regressione con inclusioni o esclusioni di fattori

 
Дмитрий:

Regressione lazo? Sì, esiste una cosa del genere.

In pratica, la regressione ridge è più conveniente - implementata come una regressione con inclusioni o esclusioni di fattori

Sì, è così.

Ecco un esempio di utilizzo di regressioni robuste per prevedere le quotazioni, il 3° posto nella competizione, ma senza dettagli:http://blog.kaggle.com/2016/02/12/winton-stock-market-challenge-winners-interview-3rd-place-mendrika-ramarlina/

E un altro splendido, a mio parere, esempio:https://www.kaggle.com/c/battlefin-s-big-data-combine-forecasting-challenge/forums/t/5966/share-your-approach

Leggi Sergey Yurgenson e vedi il suo codice (2° posto in un altro concorso):

Il mio algoritmo è stato scritto su Matlab e il codice sarà fornito di seguito. L'idea principale dell'algoritmo è di usare un modello di regressione lineare (regressione robusta) usando un piccolo numero di predittori, che sono scelti in base al p-value di slops di ogni potenziale predittore.

Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
Winton Stock Market Challenge, Winner's Interview: 3rd place, Mendrika Ramarlina
  • 2016.12.02
  • blog.kaggle.com
The Stock Market Challenge, Winton's second recruiting competition on Kaggle, asked participants to predict intra and end of day stock returns. The competition was crafted by research scientist at Winton to mimic the type of problem that they work on everyday. Mendrika Ramarlina finished third in the competition with a combination of simple...
 

E a proposito di L1 / L2-regolazione:https://msdn.microsoft.com/ru-ru/magazine/dn904675.aspx

In ogni caso, è utile conoscersi.

 
Alexey Burnakov:

E questo è anche un aspetto estremamente utile della regressione di cresta.

In pratica, ottenere l'indipendenza tra i regressori è quasi irrealisticamente difficile, e la presenza di collinearità distorce tutte le statistiche in una regressione lineare ordinale. Quindi, come giustamente sottolinea SanSanych, l'applicabilità del metodo viene prima.

Ho provato il metodo dei componenti principali. Sembra essere l'ideale. La trasformazione risulta in un insieme di regressori con correlazione zero tra loro. Puoi ancora scegliere i "principali" che spiegano la diversità principale.

Ha ucciso un sacco di tempo per i compiti di classificazione. Almeno per ridurre l'errore del %.

 
СанСаныч Фоменко:

Ho provato il metodo dei componenti principali. Sembra essere l'ideale. La trasformazione risulta in un insieme di regressori con correlazione zero tra loro. È anche possibile selezionare i "principali" che spiegano la principale diversità.

Ha ucciso un sacco di tempo per i compiti di classificazione. Almeno per ridurre l'errore del %.

Recentemente stavo discutendo la storia e lo sviluppo della regressione lineare con dei colleghi. Per farla breve, inizialmente c'erano pochi dati e pochi predittori. Regressione lineare ordinaria gestita con alcune ipotesi. Poi, con lo sviluppo della tecnologia dell'informazione, la quantità di dati è aumentata e il numero di predittori potrebbe facilmente superare le decine di migliaia. In queste condizioni la regressione lineare ordinaria non sarà d'aiuto - sovra-apprendere. Quindi sono apparse versioni regolarizzate, versioni robuste alle esigenze delle distribuzioni, ecc.