Aprendizado de máquina no trading: teoria, prática, negociação e não só - página 1911

 
Maxim Dmitrievsky:
Estás a inventar à medida que vais avançando). 24 colunas, não 100. Você mesmo pediu o arquivo. Não há erros (eu expliquei). 300 e muitas linhas porque eu te dei um ano, então o teu 'gerador' não cagou para contar)))) Mas continua. Não tive tempo de acabar de ver, mas o início é promissor. Deixo uma revisão completa mais tarde. Parece que vou ter de responder em formato de vídeo.
Sim Maxim desculpe, não era o seu arquivo de treinamento, mas o significado da mensagem eu acho que é claro. Bem 24 colunas não podem explicar 2000 vectores sem repetição. Só não é fisicamente possível....
 
Mihail Marchukajtes:

Eu tenho um arquivo sujo de 7700 colunas onde levo 24 léguas, então não continue, mas olhe aqui. Aqui está o seu arquivo.

E aqui está o meu.

Qual é a diferença???? Não te vou manter em suspense. Na análise de componentes principais, quando cada coluna é seu próprio sistema de coordenadas, é importante que elas possam ser agrupadas para que pontos de diferentes colunas possam ser plotados no mesmo sistema de coordenadas. A interpretação é simples. Quanto mais vectores verticais e horizontais, mais frio ele é. O que você tem é uma mancha de uniforme.

Imaginou-se um pouco, essencialmente os ângulos entre os vectores mostram correlação (90g = correlação 0). Eu alimento os atrasos incrementais, não haverá correlação, é como o ruído branco.

Que você se contente com 50 exemplos de treinamento (50 linhas) é surpreendente, é como a grade tem que ser rasa. Você precisa de muitos exemplos para eliminar funções desnecessárias (idealmente até uma) que podem descrever dados.

 
Mihail Marchukajtes:
Sim Maxim desculpe, esse não era o seu arquivo de treinamento, mas eu acho que a mensagem é clara. Bem, 24 colunas não conseguem explicar 2000 vectores sem repetições. É simplesmente fisicamente impossível....


Da próxima vez faço uma dança.

 
Maxim Dmitrievsky:

Da próxima vez eu danço.

vtreet não usa rsa, não tem nada a ver com isso. Eu mesmo não entendo o que eles fazem,

eles pré-processam caracteres ausentes e assim por diante + eles criam novas funcionalidades mas não as posicionam como uma indução de funcionalidade, bem como contam como uma funcionalidade mas não as posicionam como uma selecção de funcionalidade, por isso não sei o que é ou como funciona.



Em relação a "PCA é linear e o que você tem ptsashil lá você pode simplesmente jogar no lixo".

Aposto que posso obter um preço a partir de uma decomposição PCA em novos dados com +-98% de precisão.

Eu posso provar isso, então você está errado aqui, talvez até legal que seja linear, senão eu não teria coletado.

 
Maxim Dmitrievsky:


Da próxima vez eu vou dançar

Em geral concordo com a terminologia onde colunas são entradas (variáveis explicativas), linhas são vetores de treinamento ou exemplos. É possível que para alguns algoritmos de aprendizagem isto seja crítico quando há menos filas do que colunas, mas quando há mais filas do que colunas você chega perto de exemplos idênticos que puxam o modelo para a área de sobre-aprendizagem. Não é possível descrever 350 exemplos (linhas) com 24 variáveis explicativas (colunas) e evitar a repetição.

Eu não uso PCA em geral de forma alguma, foi apenas um exemplo para outro usuário. Você pode usá-lo para avaliar o conjunto resultante na medida em que ele seja capaz de ser dividido.


P.S. A cápsula...foder com a canção é creditada. Muito bem!

 
Portanto, teoricamente, a matriz mais fria a aprender é uma matriz quadrada quando o número de colunas e filas é o mesmo.... HMM... A propósito, isto deu-me uma ideia para tomar o mesmo número de exemplos para treino onde o mesmo número de colunas é deixado após o pré-processamento.... Isso é um pensamento... assim é.... A matriz quadrada não tem 100% de repetições....
 
Mihail Marchukajtes:

Em geral, concordo com a terminologia onde colunas são entradas (variáveis explicativas), linhas são vetores de treinamento ou exemplos. É possível que para alguns algoritmos de aprendizagem isto seja crítico quando há menos filas do que colunas, mas quando há mais filas do que colunas você chega perto de exemplos idênticos que puxam o modelo para a área de sobre-aprendizagem. Não é possível descrever 350 exemplos (linhas) com 24 variáveis explicativas (colunas) e evitar a repetição.

Eu não uso PCA em geral de forma alguma, foi apenas um exemplo para outro usuário. Você pode usá-lo para avaliar o conjunto resultante na medida em que ele seja capaz de ser dividido.


P.S. A cápsula...foder com a canção é creditada. Muito bem!

Somente se as etiquetas das classes forem em número muito diferente (as classes não são equilibradas)

Estava a torturar-te para nada. O mágico e feiticeiro mais famoso ))))

 
Mihail Marchukajtes:

Aproxima-se de exemplos idênticos, que puxam o modelo para a área de sobre-aprendizagem.

estes "exemplos semelhantes" são o que cria estruturas estatisticamente significativas - o que é a estatística? é quando algo se repete e você pode tirar conclusões a partir dele

Mihail Marchukajtes:

Não é possível descrever 350 exemplos (linhas) com 24 variáveis explicativas (colunas) e evitar a repetição.

O que há de errado com a repetição ????

 
mytarmailS:

estes "mesmos exemplos" são exatamente o que cria estruturas estatisticamente significativas - o que é estatística? é quando algo é repetido e você pode tirar conclusões a partir dele

o que há de errado com a repetição????

Há três tipos de mentiras: mentiras, mentiras gritantes e estatísticas. - Mark Twain.

A repetição leva à aprendizagem de rote, precisamos generalizar a rede. Ou seja, precisamos de alimentar um vector único para que quando um novo vector aparece, a rede reaja como esperado. Se um conjunto contiver um grupo de vectores próximos, a rede não os memorizará....

Por outras palavras, o algoritmo irá atribuir um factor de ponderação excessivamente elevado a estes dois vectores próximos....

 
Maxim Dmitrievsky:

apenas se as etiquetas de classe tiverem um número muito diferente (as classes não são equilibradas)

Tenho lutado contigo para nada... o mágico e feiticeiro mais famoso ))))

Estou a falar originalmente de duas aulas e nada mais. Se existem três ou mais classes, é permitido criar uma tabela de vetores únicos onde as linhas são mais do que colunas, mas a sua singularidade será definida exclusivamente pelo alvo.