Etiqueta de mercado ou boas maneiras em um campo minado - página 19

 
paralocus >> :

Vamos ao que interessa:

1. Outra opção para infectar o sistema é introduzir uma entrada aleatória adicional em um neurônio ou grupo de neurônios - o órgão.

2. "Órgão" pode ser representado como um grupo especializado de neurônios com um feedback universal - ou seja, cada neurônio de órgão "sabe" o que está na saída de qualquer outro neurônio de seu grupo (órgão ou família), e cada grupo está ciente do que está na saída do órgão. Tal NS será capaz de auto-adaptação dinâmica e a necessidade de aprendizagem será uma de suas dominantes - ou seja, o sistema pode buscar e generalizar de forma proposital e motivada o conhecimento de que necessita. Nossa tarefa será erguer obstáculos para isso e espalhar pedaços de conhecimento aqui e ali -:)

Um beco sem saída - se tudo for feito corretamente (na organização e treinamento da rede), então, após um certo número de iterações de treinamento, o corpo será isolado.


Outra coisa -- "infectando" o processo de aprendizagem introduzindo um componente aleatório relativamente pequeno na regra do delta, isto aumentará a taxa de aprendizagem em alguns casos, e também efetivamente sairá dos mínimos locais. Este já é um método comprovado.

 
TheXpert >> :

Um beco sem saída - se tudo for bem feito (na organização e treinamento da rede), então, após um certo número de iterações de treinamento, o corpo será isolado.



Você não faz isso direito...

Um órgão é um órgão para que o fígado não interfira com a função do baço. A rede não irá isolar todos os órgãos, pois esta é uma redução crítica da entropia para ela - "morte".

Bem, se alguma coisa cair, foi desnecessário.

 
paralocus писал(а) >>

O tema principal deste tópico já tive a oportunidade de apreciar! -:) Você é um gênio e eu não estou brincando!

Eu tenho uma idéia. Muito possivelmente um novo. Ontem à noite, eu tive um "curto-circuito". em todos os níveis da minha rede neural pessoal).

A questão é que tenho estudado o homem durante toda minha vida, e não apenas no contexto de sua realização social e pessoal - pois tudo isso é "superfície" - mas como um fenômeno holístico do ser e um "vaso de consciência". Hoje, em uma noite, tudo o que foi acumulado ao longo de muitos anos foi sistematizado (auto-organizado) de uma simples coleção ordenada de fatos e suposições para uma integridade em seu próprio direito.

Não posso esconder minha excitação! Ah, bem... que foi uma digressão lírica.

A idéia é simples:

Para aumentar a robustez dos NS de qualquer escala ou propósito, é preciso experimentá-los... infectá-los. Um vírus é certamente fatal para a lógica determinista de uma máquina de turing - para NS e inteligência artificial, com uma aplicação competente, "dosada", ele pode vir a ser apenas "água viva". Agora vamos falar um a um sobre isso:

1. Todos os organismos vivos são a essência das redes neurais. A declaração pode parecer muito ousada, mas é um fato fenomenológico.

2. Todos os organismos vivos são colocados em um ambiente agressivo com o propósito de aprender - chamamos isso de evolução. Basta lembrar que, junto com a evolução das formas, há uma evolução contínua das consciências individuais encarnadas nessas formas. A própria consciência é um efeito da complexidade do sistema (rede neural), e seu "Planck" evolutivo - :), presumo - é a razão entre a complexidade do sistema e a entropia do sistema.

3. Sistemas cuja entropia caiu abaixo de um certo limite se extinguem por serem incapazes de evoluir; entretanto, sistemas cuja entropia subiu acima de um certo limite também se autodestruem. Daí, a conclusão: para que um sistema evolua com sucesso, sua entropia deve periodicamente, por um certo período de tempo, atingir os valores máximos permitidos no sistema em questão. Tal estado de coisas, que chamamos de "doença". Ao dizer a palavra "doença" eu a quero dizer em um sentido bastante amplo - um criminoso de aparência bastante saudável é um homem doente. Só que não é seu corpo que está doente, mas sua mente e a dor que ele recebe, principalmente não na forma de febre ou gripe, mas na forma da chamada "cruz pesada", "destino" e assim por diante. No entanto, esta dor "social" que eles recebem é um dos tipos de influência pedagógica do continuum evolutivo - elevando a entropia da criatura a limites dificilmente suportáveis. Isto levanta uma questão filosófica sobre o professor e seus objetivos... que, no entanto, está muito além do escopo de nossa discussão no fórum -:)

4. aqueles que sobrevivem - desenvolveram imunidade - no sentido mais amplo - ou seja, não apenas contra germes patogênicos e sociais, mas o que é ainda mais importante para a evolução - transacional externa e transacional interna.

5. Em qualquer sistema vivo existem tais "germes" que certamente o matarão se sua imunidade for suficientemente enfraquecida. Por que a natureza fez isso? Exatamente com o objetivo de aumentar a capacidade do mesmo sistema de resistir aos fatores do ambiente através do constante "treinamento" interno do sistema para sobreviver e, conseqüentemente, ter mais oportunidades (tempo) para continuar a evolução individual.

6. Vamos supor que a tarefa de um sistema em evolução é desenvolver a imunidade (em todos os sentidos). Então uma coisa interessante acontece: o número de entradas de NS vivos, bem como o número de saídas (ainda menos) é ridiculamente pequeno em comparação com o número de seus neurônios e conexões! Ou seja, aumentamos acentuadamente o número de neurônios na camada intermediária (se houver três camadas - entrada, oculta e saída), e agora podemos tentar "infectar" os NS. Isto pode ser feito através da introdução de um erro aleatório medido durante a correção dos pesos! E indo um pouco mais além, o treinamento alternativo do NS, aumentando ou diminuindo a freqüência ou amplitude deste erro aleatório, é possível.

Por exemplo, antes da correção de pesos, poderíamos tentar adicionar um pequeno erro ao corretor com uma função que (aleatoriamente) uma vez a cada 1000 chamadas retornaria um valor aleatório de um determinado intervalo (por exemplo, +0,01 / -0,01 ). Não se sabe quando ou qual neurônio terá um pequeno incremento errado. Quanto mais freqüentemente tais incrementos ocorrem - maior é a entropia do sistema. Neste caso, a NS terá de levar em conta... seu próprio erro!

Aqui está outro ponto importante:

1. Mais uma variante de contaminação do sistema - introdução de uma entrada aleatória adicional em um neurônio ou em um grupo de neurônios - um órgão.

2. "Órgão" pode ser representado como um grupo especializado de neurônios com um feedback universal - ou seja, cada neurônio órgão "sabe" o que está à saída de qualquer outro neurônio de seu grupo (órgão ou família), e cada grupo está ciente do que está à saída do organismo. Tal NS será capaz de auto-adaptação dinâmica e a necessidade de aprendizagem será uma de suas dominantes - ou seja, o sistema pode buscar e generalizar de forma proposital e motivada o conhecimento de que necessita. Nossa tarefa será colocar obstáculos e espalhar pedaços de conhecimento aqui e ali -)

+5

Eu mesmo estive pensando em algo assim. Muitas dependências interessantes e não-triviais se abrem quando se trabalha com IA.

Por exemplo, não faz muito tempo que percebi porque precisamos de sonhos... Acontece que durante o sono, nosso cérebro exercita sinapses experimentando o que vimos antes, eliminando assim sua inevitável distrofia (é um objeto biológico, no qual os processos de troca são constantes e os erros são acumulados). Se não tivéssemos dormido, teríamos perdido todas as habilidades cognitivas e a memória a longo prazo em um ano! - Teríamos sido reduzidos a coisas simples que só lembram o que eles vêem. Experiências poderosas (relacionadas a eventos que mudam a vida) nos assombram o tempo todo em nosso sono, cimentando assim o conhecimento útil com um machado.

 
Neutron >> :

Experiências poderosas (relacionadas a eventos que mudam a vida) nos assombram em nossos sonhos o tempo todo, cimentando assim o conhecimento útil com um machado.

Bem, isso é manejável. O contexto de aprendizagem não tem que ser negativo. Para um sistema que "agarrou" o que se espera dele e "aceitou" este objetivo como seu próprio (como seu propósito primário = significado da vida) os sonhos deixam de ser pesadelos e em sonhos o aprendizado pode ser continuado em velocidades muito altas.

 
Neutron , penso que se mudarmos completamente para o aprendizado manipulando a entropia do sistema, os mínimos locais desaparecerão como uma classe. No entanto, o treinamento pode exigir muito mais épocas e nem todas as grades serão capazes de completá-lo. Mas os que podem... Não consigo nem imaginar do que eles serão capazes.
 
Neutron >> :


Neutron, eu ainda gostaria de falar sobre o branqueamento dos insumos e sobre a propagação do erro também para os próximos níveis

 

Olá, paralocus.

Atualmente estou brincando com o Zig-Zag de Matkad - (em algum lugar da minha cabeça há uma falha) e ao mesmo tempo estou normalizando os dados de entrada para o NS. Eis o que obtive da última vez: Suponha que tenhamos dados de entrada com distribuição arbitrária de incrementos, definidos em toda a linha numérica. Precisamos encontrar um algoritmo para mapear esta distribuição para uma faixa +/-1 com uma função de densidade de probabilidade (SP) de prateleira.

Tomemos a série EURUSD 1m como exemplo e traçamos a distribuição SP da diferença d[i]=Open[i]-Open[i+1] fig. à esquerda:

Uma boa distribuição exponencial foi obtida e nós a converteremos em uma prateleira unitária. Para isso, construímos o PDF de SP simplesmente encontrando a soma comutativa de SP (Fig. à direita) e encaixando cada ramo em 1 levando em conta o sinal do ramo (tendo previamente deslocado a curva por seu valor correspondente para "zero" no máximo da distribuição de SP). Obtivemos um padrão sigmóide. Agora, pegamos a série inicial de incrementos e agimos em cada um deles com nosso sigmóide como operador, que os mapeará para uma prateleira de unidade. Para isso, eu simplesmente substituo o valor de incremento d[i] como um argumento do sigmóide resultante:

O resultado não é algo exatamente como uma prateleira, mas próximo a ela. Compare-a com a distribuição original. O espaçamento no centro da distribuição resultante é inevitável, pois temos que nos esticar em algum lugar para torná-la mais espessa. Acho que é um coquetel de entrada perfeito para a NS.

P.S. Eu me pergunto por que não fez uma prateleira perfeita. É fundamentalmente impossível e uma limitação do método, ou me está faltando algo na construção?

 
Viva! Tive medo que de repente perdesse o interesse... -:)

Chegarei ao fundo do que você escreveu e lhe responderei.

 
Neutron >> :

P.S. Eu me pergunto por que não existe uma prateleira perfeita. É fundamentalmente impossível e uma limitação do método, ou me está faltando algo na construção?

Também pensei sobre isso ontem... (claro que não tão matematicamente como você - não posso fazer isso dessa maneira) em geral, tenho uma suspeita de que há uma razão para isso! Portanto, não lhe falta nada.

Há algo de especial nas propriedades d[i]=Open[i]-Open[i+1]. Há um palpite intuitivo de que, neste caso, temos uma BP fractal como entrada, que é cuidadosamente influenciada por um operador contínuo (por exemplo, th(x) ou sigmoid), portanto, uma prateleira ideal não funcionará - a distribuição de probabilidade Open[i]-Open[i+1] é muito provavelmente Hurstian. Eu tenho uma mais dura, então o meio - 0 está faltando completamente. A propósito, por que você toma Orap?

 

Não gosto de brincar com algo que ainda não foi formado. É um hábito da Matkad, é como dois dedos na calçada para "olhar" para um futuro não intencional ao testar o TS! A única garantia contra isso é a formação de barras, ou preços de abertura. Eles certamente não saltam.

Dê-me uma dica, qual é o seu problema com a correlação de sinais de entrada? O que você usa para a entrada de dados e por que você acha que o problema existe? Afinal, é mais fácil ter certeza de que não existe do que resolvê-lo :-)