O que alimentar a entrada da rede neural? Suas ideias... - página 63

 
Forester #:

Se considerarmos o caso de dados padronizados. Tabelas de multiplicação, por exemplo. Quanto mais exemplos você der, mais precisas serão as respostas nos novos dados.
Os novos dados não devem ser completamente diferentes, mas devem estar entre os exemplos de treinamento. Ou seja, a interpolação funcionará mais ou menos bem. 1 árvore fornecerá o exemplo de treinamento mais próximo. Se por outros dados você quiser dizer dados fora dos limites dos dados de treinamento, isso já é extrapolação. A árvore fornecerá o exemplo mais externo, porque é o mais próximo.


Se considerarmos os dados de mercado, então, com um grande valor de ruído, qualquer pico do padrão verdadeiro será misturado com picos de ruído e precisaremos, de alguma forma, escolher o pico verdadeiro e não o pico de ruído. Suas afirmações estão corretas aqui.


I van Butko #:







Novamente o ruído. Todo mundo fala sobre ruído, mas como podemos definir o ruído se não conhecemos as regras e as leis? E se cada tick for um componente de regras e leis e o problema for a incapacidade das arquiteturas de decifrar o "código" de um gráfico?

Parece um postulado aqui (a ideia de ruído em um gráfico de preços)

Sobre ruído e padrões

Não se sabe qual é a presença e a quantidade de ruído nos dados de mercado, nem se existem padrões e até que ponto eles existem.

Sobre aprendizado, memorização e retenção

Preservação - Se os dados forem simplesmente gravados em variáveis sem avaliar sua qualidade, isso pode ser chamado de preservação. Um exemplo é a gravação normal de dados em variáveis (banco de dados, tabela, matriz etc.).

Memorização: se a avaliação da qualidade for feita durante o processo de salvamento, isso já é memorização. Por exemplo, estimar a porcentagem de respostas corretas em relação ao número de perguntas a serem memorizadas. Nesse caso, quanto mais exemplos, mais amplo será o escopo de possíveis aplicações. Por exemplo, para uma tarefa 2 x 8, a resposta seria 16, mas para 18 x 67, a resposta poderia ser qualquer coisa, pois essa pergunta não foi incluída nos exemplos.

Aprendizado: o aprendizado com dados armazenados e memorizados é possível com a avaliação de qualidade. O treinamento é o processo de formação de regras para o processamento de dados memorizados. Por exemplo, praticar a aplicação da regra de multiplicação por coluna. Aqui você precisa se lembrar apenas das informações mínimas necessárias (tabela de multiplicação) e, usando a regra da coluna, pode multiplicar qualquer combinação de números, incluindo 18 x 67 e até mesmo 1,657875 x 3,876754.

Um exemplo de aprendizado seriam os modelos do tipo GPT, que não apenas memorizam dados, mas também aplicam regras para processar dados diferentes, realizando cálculos como a multiplicação em colunas.

Agora, tendo lidado com os conceitos de aprendizado, memorização e retenção, podemos fazer a seguinte pergunta: em que parte do aprendizado de máquina (que não envolve modelos do tipo GPT) o aprendizado é aplicado para analisar dados de mercado?

P.S. Este é um material básico, mais tarde abordaremos a importância da avaliação e outros aspectos interessantes.

P.P.S. A superaprendizagem , a subaprendizagem e estados semelhantes não podem ser avaliados quantitativa ou qualitativamente, portanto, faz pouco sentido falar sobre eles de forma significativa e pertinente.

 
Andrey Dik #:

Memorização: Se a avaliação da qualidade for realizada durante o processo de preservação, isso já é memorização.

Bancos de dados, árvores e clusters que memorizam 100% das informações não precisam de avaliação. Mas você pode verificar o que é 3*3 tentando todas as variantes possíveis. Depende de você e do seu tempo... Eu farei coisas mais importantes.

P.P.S. O supertreinamento, o subtreinamento e estados semelhantes não podem ser avaliados quantitativa ou qualitativamente, portanto, não há praticamente nenhum sentido em falar sobre eles de forma significativa e pertinente.

Somente os modelos com treinamento insuficiente precisam de avaliação.

 
Forester #:

1. bancos de dados, árvores e clusters que lembram 100% das informações não precisam ser avaliados.

2. Somente os modelos não treinados precisam de avaliação.

1. Se não houver avaliação, isso significa o processo de retenção, não de memorização. O texto acima mostrou a diferença.

2. Como determinar qual e quando um modelo é "subaprendido" e em quanto?

 
Provavelmente fora do tópico, mas minha experiência diz que somente os osciladores (probabilidades, taxas de ganho, etc.) podem ser previstos qualitativamente. Para aqueles que sonham em prever os movimentos de preços, minha opinião pessoal é que isso ainda não é possível (ou talvez nem seja)!
 
Sergey Pavlov #:
Provavelmente fora do tópico, mas minha experiência diz que somente os osciladores (probabilidades, taxas de ganho, etc.) podem ser previstos qualitativamente. Para aqueles que sonham em prever os movimentos de preços, minha opinião pessoal é que isso ainda não é possível (ou talvez nem seja)!

o que significa winrate?

 
Andrey Dik #:

1. Se não houver avaliação, então é um processo de retenção, não de memorização. Mostrei a diferença acima.

2. Como determinar qual e quando um modelo é "subaprendido" e em que proporção?

1) é apenas para você que a memorização consiste em examinar as possíveis variantes e avaliar cada uma delas. Você não precisa impor isso aos outros e passar isso como verdade.

2) Ela não precisa ser definida, pois antes do treinamento ela é definida nos parâmetros - treinar 100% ou subtreinar.

 
Forester #:

1) somente para você, a memorização consiste em examinar as opções possíveis. Não imponha isso aos outros e passe isso como verdade.

2) Não precisa ser definida, antes do treinamento ela é definida nos parâmetros - treinar 100% ou subtreinar.

1. O que a memorização e a "análise das opções possíveis" têm a ver com isso? Você não precisa inventar algo que eu não afirmei e, portanto, não poderia impor a ninguém)).

2. Na forma como você aplica o MO, e muitas pessoas em geral, o aprendizado está presente apenas condicionalmente. Porque não há formação de regras para o processamento de novos dados desconhecidos. Há memorização. Já demonstrei isso acima.


Entendo que pode ser doloroso aceitar algumas coisas porque elas destroem crenças estabelecidas. Mas se forem aceitas, fica claro por que alguns métodos não trazem os resultados esperados e, portanto, permitem que você mude a direção da pesquisa.

 
Andrey Dik #:

1. O que a memorização e o fato de "passar pelas opções" têm a ver com isso? Você não precisa inventar algo que eu não afirmei e, portanto, não poderia impor a ninguém)).

2. Da forma como você aplica o MO, e muitas pessoas em geral, o aprendizado está presente apenas condicionalmente. Porque não há formação de regras para o processamento de novos dados desconhecidos. Há memorização. Eu mostrei acima.


Sei que pode ser doloroso aceitar algumas coisas, porque elas arruínam crenças estabelecidas. Mas se forem aceitas, fica claro por que alguns métodos não trazem os resultados esperados e, portanto, permitem que você mude a direção da pesquisa.


Qual é a diferença entre um banco de dados comum e um sistema inteligente?

 
Ivan Butko #:


Qual é a diferença entre um banco de dados comum e os sistemas inteligentes?


Por exemplo, o mesmo gpt não se lembra apenas da tabuada de multiplicação, ele é treinado para usar a regra da coluna. Isso significa que ele pode multiplicar qualquer número, não apenas dentro da tabela de multiplicação.

Essa é a diferença entre um banco de dados comum e os sistemas inteligentes. Esses sistemas podem aplicar regras conhecidas para processar novas informações, como um ser humano faz. Um nível ainda mais alto de inteligência é a capacidade de desenvolver novas regras usando as antigas como base.

O "treinamento" convencional de uma rede neural não cria regras e, portanto, não funciona bem com dados desconhecidos. Trata-se simplesmente de uma aproximação dos dados e esperamos que essa aproximação funcione tão bem com os novos dados quanto com os dados de treinamento.