O que alimentar a entrada da rede neural? Suas ideias... - página 66

 
Andrey Dik #:

Você está falando de gravação, não de memorização. A memorização é um processo fundamentalmente diferente, a gravação não pode se tornar memorização.
Um computador e outros dispositivos eletrônicos com memória (RAM, HDD, SSD, fitas, cartões perfurados) memorizam instantaneamente.
Para os seres humanos, é necessário repetir muitas vezes para estabelecer conexões entre os neurônios. Mas também há pessoas com excelente memória.
E o estabelecimento de conexões entre os neurônios pode ser chamado de gravação. Se for gravado, mesmo que não seja desde a primeira vez, como em um computador, então será lembrado.
 
Forester #:
Computadores e outros dispositivos eletrônicos com memória (RAM, HDD, SSD, fitas, cartões perfurados) memorizam instantaneamente.
Para os seres humanos, é necessário repetir muitas vezes para estabelecer conexões entre os neurônios. Mas também há pessoas com excelente memória.
E o estabelecimento de conexões entre os neurônios pode ser chamado de gravação. Se for gravado, mesmo que não seja a primeira vez, como em um computador, então está memorizado.

Gravação - gravar em uma mídia, por mais informações que existam (compactadas ou não), muitas serão gravadas. Não importa se é a primeira ou a décima vez, não importa. Ou seja, se você pegar uma informação e colocá-la em uma mídia, nessa mídia a informação será armazenada de forma inalterada e poderá ser lida da mesma forma - esse é o significado de gravação.

A memorização tem uma natureza e um significado fundamentalmente diferentes. Se considerarmos um ser humano (ou qualquer outro ser vivo), ele não é um pen drive, é impossível gravar informações em determinadas partes arbitrárias do cérebro e armazená-las de forma inalterada. O cérebro só pode memorizar, ou seja, formar novas conexões entre os neurônios. O número de neurônios não muda durante a memorização, apenas as conexões entre eles mudam. Ao memorizar, o cérebro não pode, não tem como saber antecipadamente como novas conexões entre os neurônios devem ser criadas para lembrar as informações, é um processo iterativo. Algumas pessoas fazem isso em um número menor de iterações, outras em um número muito maior de iterações, mas nunca claramente em uma única operação, como acontece ao escrever em uma mídia. Essa é a diferença entre gravação e memorização. Enquanto a gravação garante (com um pequeno erro, que geralmente é resolvido por métodos técnicos, como correção de erros em mídias rígidas e buffers especiais) o salvamento de informações na mídia, a memorização dá sentido ao processo de formação de vínculos entre estruturas lógicas (no cérebro, são os neurônios).

As redes neurais têm o mesmo princípio de memorização que o cérebro vivo. Não se trata apenas de escrever valores em pesos variáveis, mas de formar as conexões corretas entre os neurônios artificiais. Nunca é possível saber com antecedência que tipo de conexões são necessárias para a memorização, portanto, o processo de memorização é tão iterativo quanto no cérebro vivo.

O ponto principal é o que foi dito anteriormente. A gravação é o armazenamento de informações em uma mídia (independentemente da natureza da mídia), a memorização é a criação de conexões entre nós lógicos.

O registro não implica a presença de memorização, enquanto a memorização envolve necessariamente operações de gravação em variáveis. Podemos dizer que a memorização é um nível mais alto de abstração, envolvendo operações de gravação, o que exige uma verificação iterativa da qualidade da memorização.

Uma demonstração do mecanismo de memorização em seres humanos é o uso da técnica de associação de âncoras, em que o processo de memorização é mais rápido, mais confiável e com menos iterações. É assim que o cérebro funciona; todas as informações e conhecimentos só podem ser armazenados na forma de inúmeras conexões entre os neurônios. As redes neurais funcionam com o mesmo princípio, embora de forma muito simplificada.

Esperamos que o significado e a diferença entre registro e memorização estejam claros agora.

 
Andrey Dik #:

Gravação - ao salvar na mídia, o máximo de informações que houver (compactadas ou não) será gravado. Não importa se é a primeira ou a décima vez, não importa. Ou seja, se você pegar a informação e colocá-la em uma mídia, a mídia armazenará a informação de forma inalterada e poderá ser lida da mesma forma - esse é o objetivo da gravação.

A memorização tem uma natureza e um significado fundamentalmente diferentes. Se considerarmos um ser humano (ou qualquer outro ser vivo), ele não é um pen drive, é impossível gravar informações em certas partes arbitrárias do cérebro e armazená-las de forma inalterada. O cérebro só pode memorizar, ou seja, formar novas conexões entre os neurônios. O número de neurônios não muda durante a memorização, apenas as conexões entre eles mudam. Ao memorizar, o cérebro não pode, não tem como saber antecipadamente como novas conexões entre os neurônios devem ser criadas para lembrar as informações, é um processo iterativo. Algumas pessoas fazem isso em um número menor de iterações, outras em um número muito maior de iterações, mas nunca claramente em uma única operação, como acontece ao escrever em uma mídia. Essa é a diferença entre gravação e memorização, enquanto a gravação garante (com um pequeno erro, que geralmente é resolvido por métodos técnicos, como correção de erros em mídias rígidas e buffers especiais) o salvamento de informações em uma mídia, a memorização tem o significado do processo de formação de conexões entre estruturas lógicas (no cérebro, são os neurônios).

As redes neurais têm o mesmo princípio de memorização que o cérebro vivo. Não se trata apenas de escrever valores em pesos variáveis, mas de formar as conexões corretas entre os neurônios artificiais. Nunca é possível saber com antecedência que tipo de conexões são necessárias para a memorização, portanto, o processo de memorização é tão iterativo quanto no cérebro vivo.

O ponto principal é o que foi dito anteriormente. Gravação - salvar informações em um meio (independentemente da natureza do meio), memorização - criar conexões entre nós lógicos.

O registro não implica a presença de memorização, enquanto a memorização envolve necessariamente operações de gravação em variáveis. Podemos dizer que a memorização é um nível mais alto de abstração que inclui operações de registro, exigindo uma verificação iterativa da qualidade da memorização.

Uma demonstração do mecanismo de memorização em seres humanos é o uso da técnica de associação de âncoras, em que o processo de memorização é mais rápido, mais confiável e com menos iterações. É assim que o cérebro funciona; todas as informações e conhecimentos só podem ser armazenados na forma de inúmeras conexões entre os neurônios. As redes neurais funcionam com o mesmo princípio, embora de forma muito simplificada.

Esperamos que o significado e a diferença entre registro e memorização estejam claros agora.

Você não disse nada de novo, pois mencionei brevemente a diferença entre memória humana e memória de máquina. Você pode prefixar a memorização humana e a memorização mecânica. Elas têm suas próprias peculiaridades.

Bancos de dados, florestas e modelos de agrupamento escrevem = lembram de uma só vez. Sem iterações e repetições.

 
Forester #:

1. Você não disse nada de novo, pois mencionei brevemente a diferença entre memória humana e memória de máquina. Você pode prefixar a memorização humana e a memorização mecânica. Elas têm suas próprias peculiaridades.

2. bancos de dados, florestas e modelos de agrupamento escrevem = lembram de uma só vez. Sem iterações e repetições.

1) Absolutamente e incondicionalmente, eu não disse nada de novo, pois essas são coisas básicas e elementares. Você negou a necessidade do processo iterativo de memorização com controle de avaliação, portanto, tive que repetir em detalhes tudo o que já era conhecido há muito tempo.

Em particular, os equívocos frequentes sobre esses aspectos básicos são surpreendentes. Dividir o conceito de memorização em memorização mecânica e memorização "humana" não faz sentido, pois o processo é fundamentalmente idêntico.

2. Se você tem algo escrito em algum lugar de uma só vez, sem iterações, então não há memorização. Repito: a memorização não pode ser realizada em uma única iteração, porque o resultado da memorização não é conhecido antecipadamente devido à natureza "coerente" da memorização.

 
Andrey Dik #:

1) Absolutamente e incondicionalmente, não disse nada de novo, porque essas são coisas básicas e elementares. Você negou a necessidade de um processo iterativo de memorização com controle de avaliação, então tive que repetir em detalhes tudo o que já era conhecido há muito tempo.

Em particular, os frequentes equívocos sobre esses aspectos básicos são surpreendentes. Dividir o conceito de memorização em memorização mecânica e memorização "humana" não faz sentido, pois o processo é fundamentalmente idêntico.

2. Se você tem algo escrito em algum lugar de uma só vez, sem iterações, então não há memorização. Repito: a memorização não pode ser realizada em uma única iteração, porque o resultado da memorização não é conhecido antecipadamente devido à natureza "coerente" da memorização.

Repita/itere quantas vezes você quiser.
Isso não alterará os algoritmos existentes e que funcionam com sucesso. As árvores espalham os dados pelas folhas em uma única passagem.
 
Forester #:
Repita/itere o quanto quiser.
Isso não alterará os algoritmos existentes e que funcionam com sucesso. As árvores espalham os dados pelas folhas em uma única passagem.

Fazer perguntas.
As árvores sempre espalham os dados da mesma forma e em uma única passagem?
Quais algoritmos são usados nas árvores? Qual é a finalidade desses algoritmos?
Se você responder a essas perguntas, não precisarei fazer o layout da base novamente e poderei seguir em frente com meu plano.
 
Andrey Dik #:

Fazer perguntas.
As árvores sempre dispersam os dados da mesma forma e em uma única passagem?
Quais algoritmos são usados nas árvores. Qual é a finalidade desses algoritmos?
Se você responder a essas perguntas, não precisarei fazer o layout da base novamente e poderei seguir em frente com meu plano.


1) Sempre em uma única passagem Você pode definir as configurações para que sejam sempre as mesmas.
Mas geralmente você aplica a randomização: alimentando o treinamento com linhas e/ou colunas aleatórias.


Em meus experimentos, sempre desabilito qualquer coisa que introduza a aleatoriedade: para reprodutibilidade entre execuções 2) Algoritmos gulosos. É por isso que em uma passagem.

Há muitos artigos sobre algoritmos de árvore. Aqui você pode repetir a árvore no código e entender como tudo funciona.https://habr.com/ru/companies/vk/articles/438560/ Se você for um programador experiente, entenderá facilmente.

E a segunda parte https://habr.com/ru/companies/vk/articles/438562/

Пишем XGBoost с нуля — часть 1: деревья решений
Пишем XGBoost с нуля — часть 1: деревья решений
  • 2019.02.06
  • habr.com
Привет, Хабр! После многочисленных поисков качественных руководств о решающих деревьях и ансамблевых алгоритмах (бустинг, решающий лес и пр.) с их непосредственной реализацией на языках программирования, и так ничего не найдя (кто найдёт — напишите в комментах, может, что-то новое почерпну), я решил сделать своё собственное руководство, каким...
 
Forester #:


1) Sempre em uma passagem: você pode definir as configurações para que sejam sempre as mesmas.
Mas, em geral, a randomização é aplicada: alimentar o treinamento com linhas e/ou colunas aleatórias.

2) Algoritmos gananciosos. É por isso que é 1 passagem.

Há muitos artigos sobre algoritmos de árvore. Aqui você pode replicar uma árvore no código e entender como tudo funciona.https://habr.com/ru/companies/vk/articles/438560/.


Não é uma boa forma enviá-lo para ler artigos. Você pode responder às minhas perguntas? Qual é o significado de negação?))
Perguntas adicionais. O que forma as regras de ramificação em uma árvore?
Você ainda está confundindo registro e memorização.
 
Andrey Dik #:

Não é recomendável enviá-lo para ler artigos. Você pode responder às minhas perguntas? Qual é o objetivo da negação?))

A primeira foi respondida, a segunda está no artigo. Se você entender o algoritmo, entenderá tudo. O código é mais claro do que mil palavras.

 
Forester #:

A primeira foi respondida, a segunda está no artigo. Se você entender o algoritmo, entenderá tudo. O código é mais claro do que mil palavras.


Infelizmente, você não respondeu completamente a nenhuma das minhas perguntas. Você está sempre se esquivando))
Você precisa descobrir, não eu, aparentemente.

Jogue minhas perguntas no bate-papo, se eu estiver com preguiça de digitar a resposta sozinho)))

S.F. A propósito, você pode ler o artigo em seu link para responder às minhas perguntas. E em mql5.com há uma enorme quantidade de material educacional em artigos sobre o tópico e em MQL5 nativo.

ZZY - Ao ler os tutoriais, preste atenção ao fato de que as árvores não se ramificam de forma arbitrária, mas buscam objetivos bastante específicos. Quais objetivos?
Em que estágio ocorre o processo iterativo de treinamento da árvore, por que ele é iterativo e qual é o objetivo desse processo iterativo?