Previsão de mercado com base em indicadores macroeconômicos
É confuso que o governo americano em geral e o Comitê de Mercado Aberto em particular tenham sido repetidamente suspeitos de falsificar e manipular as estatísticas macroeconômicas do mercado de trabalho e do PIB dos EUA a fim de influenciar os mercados financeiros?
Sim, é confuso. Também é confuso o fato de que os dados publicados são ajustados muitas vezes após sua liberação. Mas, por outro lado, os comerciantes reagem aos dados que lhes são dados pelo governo dos EUA, movendo o mercado em uma ou outra direção, quer esses dados sejam falsificados ou incompletos ou prematuros. Portanto, a técnica de prever o mercado com base nestes dados deve, em princípio, funcionar.
Você está interessado apenas no S&P ou ele é apenas tomado como exemplo?
É que a S&P tem um padrão de movimento peculiar, não muito diferente da relação da moeda.
Você está interessado apenas no S&P ou ele é apenas tomado como exemplo?
É que a S&P tem um padrão peculiar de movimento, não diferente da relação entre as moedas.
Sim, é confuso. Também é confuso o fato de que os dados publicados são ajustados muitas vezes após a sua publicação. Mas, por outro lado, os comerciantes reagem aos dados que o governo dos EUA lhes fornece, movendo o mercado em uma direção ou outra, quer esses dados sejam falsificados ou incompletos ou prematuros. Portanto, a técnica de prever o mercado com base nestes dados deve, em princípio, funcionar.
OK, vamos dar uma olhada. Eu também tenho feito isso.
Um persistente teste de avanço
Portanto, a tarefa de prever o índice S&P 500 com base nos dados econômicos disponíveis.
Um tema bastante interessante. Eu tentei fazer indicadores baseados no arquivo de dados: emprego, construção de novas casas, vendas de novas casas etc. E você sabe, você pode ver a olho nu que alguns dados têm alguma correlação com o mercado de ações. Mas, parece não haver correlação com o mercado de moedas. Tenho usado algumas estatísticas básicas dos EUA.
Você não acha que você escolheu muitos tipos de dados? Na minha opinião, é preciso excluir os dados sem importância dos que valem a pena, os que afetam o mercado.
Entretanto, não estou familiarizado com a análise neural. Comecei a ler sobre isso, mas não encontrei nenhuma explicação clara sobre seu funcionamento.
É um tema bastante interessante. Eu tentei fazer indicadores baseados no arquivo de dados: emprego, construção de casas novas, vendas de casas novas etc. E você sabe, você pode ver a olho nu que alguns dados têm alguma correlação com o mercado de ações. Mas, parece não haver correlação com o mercado de moedas. Tenho usado algumas estatísticas básicas dos EUA.
Você não acha que você escolheu muitos tipos de dados? Na minha opinião, é preciso excluir os dados sem importância dos que valem a pena, aqueles que afetam o mercado.
Grandes ou pequenas quantidades de dados de entrada são todos relativos.
A outra é mais importante.
Todas as entradas se enquadram em duas categorias:
- aqueles com impacto sobre a variável-alvo
- aqueles que não têm influência ou têm pouca influência.
Eu uso deliberadamente a palavra influência em vez de correlação. A correlação é uma ferramenta vazia porque a correlação sempre tem algum valor e nenhum valor é NA, o que é fundamental para determinar o impacto dos dados brutos sobre a variável alvo.
As variáveis que não têm (tendo um baixo impacto - note que esta é uma característica qualitativa) são ruídos na determinação do efeito sobre a variável alvo. A armadilha aqui é que começando com alguma quantidade não determinada algoritmicamente, este ruído "obstrui" as variáveis importantes e então as variáveis "importantes" não podem ser extraídas algoritmicamente desta quantidade agregada.
Portanto, é preciso olhar manualmente toda a lista de variáveis de entrada e decidir intuitivamente, ou com base em alguma outra consideração, que "esta variável de entrada é susceptível de afetar e esta provavelmente não".
Conheço várias dúzias de algoritmos para determinar a importância das variáveis, que experimentei em um conjunto a partir de meu papel e livro (até 100 variáveis de entrada). O resultado é exatamente como descrito. Selecionei manualmente alguma lista, depois filtrei-a com o algoritmo e consegui a lista. E o valor de tal lista é fundamental: modelos que utilizam tal conjunto de dados de entrada "influenciadores" (utilizando 3 tipos diferentes de modelos) NÃO têm a propriedade de sobre-aprendizagem, que é o principal problema. O excesso de equipamento é a principal conseqüência do uso de dados de entrada "ruidosos".
PS.
A estacionariedade não tem nenhum papel em meus modelos, que são randomForest, ada, SVM.
...
.... Nenhum modelo funcionará sem estacionaridade.
...
A exigência de estacionaridade é muito rígida e completamente injustificada.
.
E os modelos "não estacionários" funcionam muito bem ;)
Um algoritmo de regressão pode ajudar a prever qualquer indicador a partir de qualquer dado, mesmo que não haja uma relação explícita entre eles
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Você concorda com a política do site e com os termos de uso
Assim, a tarefa é prever o índice S&P 500 com base nos indicadores econômicos disponíveis.
Passo 1: Encontre os indicadores. Os indicadores estão disponíveis publicamente aqui: http://research.stlouisfed.org/fred2/ Existem 240.000 deles. O mais importante é o crescimento do PIB. Este indicador é calculado trimestralmente. Daí o nosso passo - 3 meses. Todos os indicadores para um período menor são recalculados para um período de 3 meses, o restante (anual) é descartado. Também descartamos indicadores para todos os países, exceto os Estados Unidos e indicadores que não tenham um histórico profundo (pelo menos 15 anos). Então, com trabalho meticuloso, filtramos um monte de indicadores e obtemos cerca de 10 mil indicadores. Formulamos uma tarefa mais específica de prever o índice S&P 500 um ou dois trimestres à frente, tendo disponíveis 10 mil indicadores econômicos com período trimestral. Faço tudo em MatLab, embora seja possível em R.
Passo 2: Converta todos os dados para a forma estacionária por diferenciação e normalização. Existem muitos métodos aqui. O principal é que os dados originais podem ser restaurados a partir dos dados convertidos. Sem estacionaridade, nenhum modelo funcionará. A série S&P 500 antes e depois da conversão é mostrada abaixo.
Passo 3: Escolha um modelo. Talvez uma rede neural. Pode-se fazer regressão linear multivariável . Você pode fazer regressão polinomial multivariável. Após testar modelos lineares e não lineares, chegamos à conclusão de que os dados são tão ruidosos que não faz sentido entrar em um modelo não linear. O gráfico y(x), onde y = S&P 500 e x = um dos 10 mil indicadores, é uma nuvem quase circular. Assim, formulamos a tarefa ainda mais especificamente: prever o índice S&P 500 um ou dois trimestres à frente, com 10 mil indicadores econômicos com período trimestral, usando regressão linear multivariada.
Passo 4: Selecionamos os indicadores econômicos mais importantes de 10 mil (reduzimos a dimensão do problema). Este é o passo mais importante e difícil. Digamos que levemos a história do S&P 500 até 30 anos (120 trimestres). Para representar o S&P 500 como uma combinação linear de indicadores econômicos de vários tipos, basta ter 120 indicadores para descrever com precisão o S&P 500 ao longo desses 30 anos. Além disso, os indicadores podem ser absolutamente qualquer um para criar um modelo tão preciso de 120 indicadores e 120 valores S&P 500. Portanto, você precisa reduzir o número de entradas abaixo do número de valores de função descritos. Por exemplo, estamos procurando os 10-20 indicadores de entrada mais importantes. Tais tarefas de descrever dados com um pequeno número de entradas selecionadas de um grande número de bases candidatas (dicionário) são chamadas de codificação esparsa.
Existem muitos métodos para selecionar entradas de preditores. Eu tentei todos eles. Aqui estão os dois principais:
Aqui estão os 10 principais indicadores com o maior coeficiente de correlação com o S&P 500:
Aqui estão os 10 principais indicadores com as informações mais mútuas com o S&P 500:
Lag é o atraso da série de entrada em relação à série simulada do S&P 500. Como pode ser visto nessas tabelas, diferentes métodos de escolha das entradas mais importantes resultam em diferentes conjuntos de entradas. Como meu objetivo final é minimizar o erro do modelo, escolhi o segundo método de seleção de entrada, ou seja, enumeração de todas as entradas e seleção da entrada que deu o menor erro.
Passo 5: Escolha um método para calcular o erro e os coeficientes do modelo. O método mais simples é o método COEX, razão pela qual a regressão linear usando este método é tão popular. O problema com o método RMS é que ele é sensível a outliers, ou seja, esses outliers afetam significativamente os coeficientes do modelo. Para reduzir essa sensibilidade, a soma dos valores dos erros absolutos pode ser utilizada no lugar da soma dos erros quadrados, levando ao método dos módulos mínimos (LSM) ou regressão robusta. Este método não possui uma solução analítica para os coeficientes do modelo ao contrário da regressão linear. Normalmente os módulos são substituídos por funções de aproximação suaves/diferenciáveis e a solução é realizada por métodos numéricos e leva muito tempo. Tentei os dois métodos (regressão enxuta e MHM) e não notei muita vantagem do MHM. Em vez de MHM, fiz um desvio. Na segunda etapa de obtenção de dados estacionários diferenciando-os, adicionei uma operação de normalização não linear. Ou seja, a série original x[1], x[2], ... x[i-1], x[i] ... é primeiro convertida em uma série de diferenças x[2]-x[1] . .. x [i]-x[i-1] ... e então cada diferença é normalizada substituindo-a por sign(x[i]-x[i-1])*abs(x[i]-x[ i-1] )^u, onde 0 < u < 1. Para u=1, obtemos o método COSE clássico com sua sensibilidade a valores discrepantes. Em u=0, todos os valores da série de entrada são substituídos por valores binários +/-1 com quase nenhum outlier. Para u=0,5, obtemos algo próximo a MNM. O valor ótimo de u está em algum lugar entre 0,5 e 1.
Deve-se notar que um dos métodos populares para converter dados em uma forma estacionária é substituir os valores da série pela diferença nos logaritmos desses valores, ou seja, log(x[i]) - log(x[i-1]) ou log(x[i]/x[i-1]). A escolha de tal transformação é perigosa no meu caso, pois o dicionário de 10 mil verbetes possui muitas linhas com zero e valores negativos. O logaritmo também tem o benefício de reduzir a sensibilidade do método RMS a valores discrepantes. Essencialmente, minha função de transformação sign(x)*|x|^u tem o mesmo propósito que log(x), mas sem os problemas associados a zero e valores negativos.
Etapa 6: Calcule a previsão do modelo substituindo os novos dados de entrada e calculando a saída do modelo usando os mesmos coeficientes do modelo que foram encontrados pela regressão linear nos segmentos anteriores do histórico. Aqui é importante ter em mente que os valores trimestrais dos indicadores econômicos e do S&P 500 vêm quase simultaneamente (com precisão de 3 meses). Portanto, para prever o S&P 500 para o próximo trimestre, o modelo deve ser construído entre o valor trimestral atual do S&P 500 e entradas atrasadas em pelo menos 1 trimestre (Lag>=1). Para prever o S&P 500 um trimestre à frente, o modelo deve ser construído entre o valor trimestral atual do S&P 500 e as entradas atrasadas em pelo menos 2 trimestres (Lag>=2). etc. A precisão das previsões diminui significativamente com o aumento do atraso maior que 2.
Passo 7: Verifique a precisão das previsões sobre o histórico anterior. A técnica original descrita acima (colocar cada entrada no histórico anterior, escolher a entrada que fornece o menor MSD e calcular a previsão a partir do novo valor dessa entrada) produziu uma previsão MSD que foi ainda pior do que as previsões aleatórias ou nulas. Eu me fiz esta pergunta: por que uma entrada que se encaixa bem no passado deve ter uma boa capacidade de previsão para o futuro? Faz sentido selecionar entradas de modelo com base em seu erro de previsão anterior, em vez de com base no menor erro de regressão nos dados conhecidos.
No final, meu modelo pode ser descrito passo a passo assim:
Em suma, a escolha de um preditor depende de seu RMS das previsões anteriores do S&P 500. Não há previsão de futuro. O preditor pode mudar ao longo do tempo, mas no final do segmento de teste, ele basicamente para de mudar. Meu modelo selecionou PPICRM com um atraso de 2 trimestres como a primeira entrada para prever Q2 2015. A regressão linear do S&P 500 com a entrada PPICRM(2) selecionada para 1960 - Q4 2014 é mostrada abaixo. Círculos pretos - regressão linear. Círculos multicoloridos - dados históricos para 1960 - Q4 2014. A cor do círculo indica a hora.
Previsões estacionárias do S&P 500 (linha vermelha):
Previsões do S&P 500 em forma bruta (linha vermelha):
O gráfico mostra que o modelo prevê o crescimento do S&P 500 no segundo trimestre de 2015. Adicionar uma segunda entrada aumenta o erro de previsão:
1 erro1=0,900298 erro2=0,938355 PPICRM (2)
2 err1=0,881910 err2=0,978233 PERMIT1 (4)
onde err1 é o erro de regressão. É óbvio que diminui com a adição de uma segunda entrada. err2 é o erro de previsão quadrático médio dividido pelo erro de previsão aleatório. Ou seja, err2>=1 significa que a previsão do meu modelo não é melhor do que as previsões aleatórias. err2<1 significa que a previsão do meu modelo é melhor do que as previsões aleatórias.
PPICRM = Índice de Preços ao Produtor: Materiais Brutos para Processamento Adicional
PERMIT1 = Novas Unidades Habitacionais Privadas Autorizadas por Alvarás de Construção - Em Estruturas com 1 Unidade
O modelo descrito acima pode ser reformulado desta forma. Reunimos 10 mil economistas e pedimos que prevejam o mercado para o próximo trimestre. Cada economista apresenta sua própria previsão. Mas em vez de escolher uma previsão com base no número de livros que escreveram ou no número de Prêmios Nobel que ganharam no passado, esperamos alguns anos coletando suas previsões. Após um número significativo de previsões, vemos qual economista é mais preciso e começamos a acreditar em suas previsões até que algum outro economista o ultrapasse em precisão.