Discussão do artigo "Redes neurais de maneira fácil (Parte 17): Redução de dimensionalidade"
Ещё одна область использования методов понижения размерности — это визуализация данных. К примеру, у Вас есть данные описания состояний некой системы, представленные 10 параметрами. И Вам необходимо найти способ визуализировать эти данные. Для восприятия человеком наиболее предпочтительными являются 2-х и 3-мерные изображения. Конечно, можно сделать несколько слайдов с различными вариациями 2-3 параметров. Но это не даст полного представления о картине состояний системы. И в большинстве случаев различные состояния в различных слайдах будут сливаться в 1-ну точку. И не всегда это будут одни и те же состояния.
Portanto, gostaríamos de encontrar um algoritmo que nos ajudasse a traduzir todos os nossos estados do sistema de 10 parâmetros em um espaço de 2 ou 3 dimensões. Ao mesmo tempo, ele dividiria nossos estados do sistema preservando ao máximo sua localização mútua. E, é claro, com perda mínima de informações.
Dmitry, obrigado pelo artigo!
Depois de ler essas linhas, lembrei-me imediatamente do processo de análise dos resultados da otimização, quando olho para um gráfico 3D e altero os parâmetros de cada um dos eixos. Afinal, quero ver não apenas o melhor valor de um parâmetro, mas também sua influência em outros parâmetros.
O método de componentes principais ajudará nesse caso? Qual será a aparência do gráfico após a redução da dimensionalidade? Como será possível extrair dele os valores deste ou daquele parâmetro em cada ponto?
O método de componentes principais ajudará nesse caso? Qual será a aparência do gráfico após a redução da dimensionalidade? Como será possível extrair dele os valores deste ou daquele parâmetro em cada ponto?
No caso de posições explícitas dos eixos (quando podem ser determinadas sem ambiguidade), sim, isso ajudará; quando houver diversas variantes de localização, com valores próximos, os primeiros cálculos darão o resultado da direção do eixo, o que nem sempre é verdade. Em geral, a redução da dimensionalidade não funciona em distribuições uniformes.
ZY, o artigo é digno de crédito, o autor é respeitado.No caso de posições explícitas dos eixos (quando podem ser determinadas sem ambiguidade), sim, isso ajudará; quando houver várias variantes de localização, com valores próximos, os primeiros cálculos darão o resultado da direção do eixo, o que nem sempre é verdade. Em geral, a redução de dimensionalidade não funciona em distribuições uniformes.
Aparentemente, você precisa estar por dentro do assunto para entender a resposta.
Os parâmetros da estratégia estão localizados nos eixos e podem ter valores muito diferentes, ser relacionados ou independentes. Eu gostaria de analisar um gráfico e ver todas as relações de uma só vez.
"Reduzir a dimensionalidade" pode levá-lo rapidamente a um canto bidimensional se você não perceber que isso só funciona "na amostra" na maioria dos casos :)
mas o artigo é interessante em termos de portabilidade de PCA para MQL, embora esteja em alglibAparentemente, você precisa estar no tópico para entender a resposta.
Os parâmetros da estratégia estão localizados nos eixos e podem ter valores muito diferentes, ser relacionados ou independentes. Eu gostaria de analisar um gráfico e ver todas as relações de uma só vez.
Não, o PCA não fornecerá todas as correlações de uma só vez, apenas uma média. Ele destacará as mais fortes. Se o resultado de longo prazo não depender dos parâmetros, ou seja, for constante, o PCA não ajudará. Se a influência dos parâmetros no resultado for constante em etapas ou em ondas, ela também não ajudará, a menos que a análise seja feita em uma onda/etapa.)
"Reduzir a dimensionalidade" pode levá-lo rapidamente a um canto bidimensional se você não perceber que isso só funciona "na amostra" na maioria dos casos :)
mas o artigo é interessante em termos de portabilidade de PCA para MQL, embora esteja em alglib.Você pode ver a tendência))))
O método de componentes principais ajudará nesse caso? Qual será a aparência do gráfico após a redução da dimensionalidade? Como será possível extrair dele os valores deste ou daquele parâmetro em cada ponto?
Andrew, a situação pode ser explicada pelo gráfico apresentado na primeira postagem. Com o PCA, estamos reduzindo a dimensionalidade para uma única linha. Ou seja, a partir de 2 coordenadas, que multiplicamos pelo vetor de redução de dimensionalidade, obtemos um valor - a distância de "0" até o ponto na linha laranja. Ao multiplicar essa distância pela matriz de redução transposta, obtemos as coordenadas desse ponto no espaço bidimensional. Mas, ao fazer isso, é claro, obteremos um ponto na linha com algum desvio do ponto verdadeiro. Assim, para cada ponto no espaço reduzido, podemos obter as coordenadas no espaço original. Mas com algum erro em relação aos dados originais.
Andrew, a situação pode ser explicada pelo gráfico apresentado na primeira postagem. Com o PCA, reduzimos a dimensionalidade para uma única linha. Ou seja, a partir de 2 coordenadas, que multiplicamos pelo vetor de redução de dimensionalidade, obtemos um valor - a distância de "0" até o ponto na linha laranja. Ao multiplicar essa distância pela matriz de redução transposta, obtemos as coordenadas desse ponto no espaço bidimensional. Mas, ao fazer isso, é claro, obteremos um ponto na linha com algum desvio do ponto verdadeiro. Assim, para cada ponto no espaço reduzido, podemos obter as coordenadas no espaço original. Mas com algum erro em relação aos dados originais.
Obrigado pela resposta.
Se o eixo X for o valor do parâmetro e o eixo Y for o resultado da execução em dinheiro, muitas informações serão perdidas após a transformação.
E a coisa mais incerta é como isso pode ficar em um gráfico 3D. Como a dimensionalidade será reduzida?
E para 4d? Qual seria o resultado?
Provavelmente, é preciso ter uma boa imaginação ou uma compreensão profunda de todos os processos aqui).
Obrigado por sua resposta.
Se o eixo X for o valor do parâmetro e o eixo Y for o resultado da execução em dinheiro, muitas informações serão perdidas após a conversão.
E a coisa mais incerta é como isso pode ficar em um gráfico 3D. Como a dimensionalidade será reduzida?
E para 4d? Qual seria o resultado?
Acho que você precisa de uma boa imaginação ou de uma compreensão profunda de todos os processos)
Esse é um exemplo simplificado, é claro que quando temos 2 parâmetros e um resultado esse método não é muito necessário. Quando os parâmetros são mais de 5, há um problema de visualização. 4 parâmetros podem ser representados por vídeo (um parâmetro como tempo), 3 parâmetros por imagem volumétrica. E o resultado, a densidade ou a cor na imagem volumétrica
do wiki não é uma explicação ruim
Formulação formal do problema de CRA
O problema da análise de componentes principais tem pelo menos quatro versões básicas:
- aproximar os dados por variedades lineares de dimensão inferior ;
- encontrar subespaços de menor dimensionalidade, naprojeção ortogonal na qual a dispersão dos dados (ou seja, odesvio padrão do valormédio) é maximizada;
- encontrar subespaços de menor dimensionalidade, na projeção ortogonal, nos quais a distância RMS entre os pontos é máxima;
- para uma determinada variável aleatória multidimensional, construir uma transformação ortogonal de coordenadas, como resultado da qualas correlações entre coordenadas individuais se tornarão zero.
- Aplicativos de negociação gratuitos
- 8 000+ sinais para cópia
- Notícias econômicas para análise dos mercados financeiros
Você concorda com a política do site e com os termos de uso
Novo artigo Redes neurais de maneira fácil (Parte 17): Redução de dimensionalidade foi publicado:
Continuamos a estudar modelos de inteligência artificial, em particular, algoritmos de aprendizado não supervisionados. Já nos encontramos com um dos algoritmos de agrupamento. E neste artigo quero compartilhar com vocês outra maneira de resolver os problemas de redução de dimensionalidade.
A análise de componentes principais foi inventada pelo matemático inglês Karl Pearson em 1901. Desde então, tem sido usado com sucesso em muitos campos da ciência.
Para entender a essência do método em si, proponho a tarefa simplificada de reduzir a dimensão de uma matriz de dados bidimensional a um vetor. Do ponto de vista geométrico, isso pode ser representado como uma projeção de pontos de um determinado plano em uma linha reta.
Na figura abaixo, os dados de entrada são representados por pontos azuis, e duas projeções são feitas nas linhas laranja e cinza com pontos da cor correspondente. Como podemos ver, a distância média entre os pontos iniciais e suas projeções laranjas será menor do que as distâncias semelhantes às projeções cinzas. Neste caso, entre as projeções cinzas, nota-se a sobreposição das projeções dos pontos entre si. Portanto, a projeção laranja é o que nós estamos buscando, pois separa todos os pontos e tem menos perda de dados quando a dimensionalidade é reduzida (distância entre os pontos e suas projeções).
Tal linha é chamada de componente principal. Daí o nome do método - análise de componentes principais.
Do ponto de vista matemático, cada componente principal é um vetor numérico com tamanho igual à dimensionalidade dos dados de entrada. O produto do vetor de dados de entrada que descrevem um estado do sistema pelo vetor correspondente do componente principal fornece o ponto de projeção do estado analisado na linha reta.
Dependendo da dimensionalidade dos dados de entrada e dos requisitos para compactação de dados, pode haver vários desses componentes principais, mas não mais do que a dimensionalidade dos dados de entrada. Ao renderizar uma projeção volumétrica, eles serão 3. E a compressão de dados é baseada em uma margem de erro, geralmente levando uma perda de até 1% dos dados.
Você provavelmente deve prestar atenção que isso é visualmente semelhante à regressão linear. Mas estes são métodos completamente diferentes e dão resultados diferentes.
Autor: Dmitriy Gizlyk