Estatísticas de dependência entre aspas (teoria da informação, correlação e outros métodos de seleção de características) - página 8

 
Avals:

Neste caso, a independência não é necessária, como eu entendo, mas é precisamente o tema da avaliação.
É necessário. E a entropia é avaliada como uma estimativa probabilística.
 
HideYourRichess:
Obrigatório. E a entropia é estimada como uma estimativa de probabilidade.

Onde está escrito que a independência é necessária? Aspecto das cartas em texto em russo, independentemente do contexto (cartas anteriores)?
 
alexeymosc:
Muitos exemplos de aplicações do TC, em russo, referem-se à análise do alfabeto do russo e de outras línguas, assim como à análise de palavras e frases (seqüências de palavras). E todos estes caracteres não são a priori estatisticamente independentes, e por estes exemplos são avaliadas informações mútuas, um valor que mostra a quantidade de dependência. Portanto, a independência a priori dos valores em estudo não é um pré-requisito para a aplicação correta da TI.

Argumentação muito fraca, no nível de que em algum lugar lido, que em algum lugar é usado, para algo lá, nesta.... Exatamente sobre isso o dicionário acadêmico nos escreveu, - "Para modelagem de sistemas de comunicação tal abordagem é legítima, pois eles se destinam a uma transferência sem erros em um canal de comunicação das informações representadas por qualquer conjunto de símbolos. Entretanto, quando a consideração do valor e significado das informações é essencial, a abordagem quantitativa é inaplicável. Esta circunstância impõe restrições essenciais nos campos de possíveis aplicações do TC. Não levá-la em conta levou, em estágios iniciais de desenvolvimento, a uma superestimação do significado aplicado.


 
Avals:

Onde está escrito que a independência é necessária? O aparecimento de cartas no texto em russo, independentemente do contexto (cartas anteriores)?
Não está claro a partir da declaração do problema? A propósito, o texto é bastante clássico para ter.ver.
 
alexeymosc:

É uma falha na Estatística. A propósito, eu mesmo a utilizo.
Você pode finalmente fazer um diagnóstico informado.
 
faa1947: Abro no pacote STATISTICS a aba "data mining" - cerca de 20 nomes de seções e procedimentos separados. Tudo isso concorda perfeitamente com os livros e monografias neste campo, mas nada sobre TI para mineração de dados.

Maravilhoso. O pacote Statistica é a única fonte a que se pode recorrer para a mineração de dados. Portanto, a TI deve ser proibida de usá-la. E banir seu próprio cérebro também, porque com o Statistica você não precisa mais dele.

Roman: Alexey, você pode dizer, se é realista traduzir todo esse prazer no código na direção em que estamos interessados...

A. Sergeev fez algo semelhante enquanto traduzia o indicador do Sultonov em código ou estou enganado?

É bastante viável. Não vejo aí nenhum limite, mas é possível fazer somas e logaritmos na MQL4. Eu não sei o que Sergeev fez. Mas, tanto quanto sei de outras fontes, a parte mais difícil dos cálculos foi calcular a função gama. A TI estava fora de questão.

HideYourRichess: Vocêtem eventos elementares, retorno, são idênticos aos eventos elementares da TI? [...] Daí a pergunta, que tipo de "símbolos" temos no mercado?

Já existe a resposta da alexeymosc sobre isto: são incrementos [relativos], que podem ser discretizados especificamente para este fim. Meu alfabeto final contém entre 15 e 50 caracteres.

Prevejo a próxima pergunta: "É possível fazer tal discretização sem derramar do garoto da banheira?". E por que não? Eu realmente não tenho um procedimento para verificar se o fiz corretamente, mas algumas verificações de casos extremos e particulares mostram que eu não cometi nenhum erro fatal. A fonte com o receptor também está lá.

É isso que o canal de comunicação é - não é tão fácil de responder. Essa parece ser a pergunta com a qual você vai me matar...

Há uma suposta resposta que pode parecer herética para você: é o tempo presente, ou seja, o período de tempo em que a informação do passado é transmitida à barra zero.

HideYourRichess: Se você não envolve "econômicos e outros significados", então de que processos estamos falando? Um processo é um fenômeno "físico", tem causas e tem conseqüências. Por exemplo, o processo de queda de uma maçã na cabeça de Newton. Na aplicação aos mercados, o processo de compra e venda. Onde está tudo isso nos retornos?

Eu acho que você é excessivamente mecanicista, minha querida. Um processo pode legitimamente ser um fenômeno de informação, consistindo na geração de retornos com base em processos reais de compra e venda.

HideYourRichess: ter.ver, no qual ter.inf. se baseia, requer a independência dos eventos em questão, ou símbolos.

Mostre-me a fonte na qual isto é afirmado. Duvido que você encontre um.

Onde você já viu que terver requer independência - se este mesmo conceito de independência é um conceito definível em terver? E o que você acha que são correntes Markov? E os teoremas de Bayes? E em geral o conceito de probabilidade condicional?

Avals: Alexey, onde estão os cálculos que resultam em "dependências distantes e praticamente confiáveis"? E o que você quer dizer com retornos líquidos sem volatilidade (como são obtidos os retornos, porque apenas os retornos contêm volatilidade)?

Bem, eu lhe disse que ignorava a econometria e estava desesperadamente confuso sobre o conceito de volatilidade...

Não quero colocar o código de cálculo aqui, ainda é um know-how. Mas posso lhes dizer em particular como os fiz.

 
HideYourRichess:
Não está claro a partir das condições do problema? A propósito, a formulação é bastante clássica para ter.ver.


Eu não)))) se a independência é necessária, então por que uma coisa como entropia condicional?

Se a seqüência de símbolos do alfabeto não é independente (por exemplo, em francês a letra "q" é quase sempre seguida por "u", e a palavra "vanguarda" nos jornais soviéticos era geralmente seguida por "produção" ou "mão-de-obra"), a quantidade de informação que a seqüência de tais símbolos carrega (e, portanto, a entropia) é obviamente menor. Aentropia condicional é usada para contabilizar tais fatos. https://ru.wikipedia.org/wiki/Информационная_энтропия

 
faa1947:
Finalmente, um diagnóstico razoável pode ser feito.


Abra-o.

A propósito, a estatística não tem uma característica tão útil como um algoritmo genético para selecionar variáveis de entrada, que a NeuroShell tem. Ou seja, um produto não pode acomodar tudo. O Matlab também não tem nenhuma funcionalidade embutida para calcular informações mútuas, mas um módulo correspondente foi escrito e, por acaso, está em demanda.

 

Mathemat:

Eu acho que você está sendo excessivamente mecanicista, minha querida. Um processo pode ser legitimamente um fenômeno de informação, consistindo na geração de retornos com base em processos reais de compra e venda.

É assim que aparecem os retornos reais: comprar, vender, comprar, vender...

Mathemat:

Mostre-me a fonte na qual isto é afirmado. Duvido que você o encontre.

Onde você já viu que um teriver requer independência - se este mesmo conceito de independência é um conceito definível no teriver? E o que você acha que são correntes Markov? E os teoremas de Bayes? E o conceito de probabilidade condicional em geral?

Nem Markov nem Bayes tem nada a ver com a TI. Mas a fé terrena sim. E acredite em mim, a exigência de independência é a pedra angular do ter.ver. sobre a qual eles até são preguiçosos demais para escrever.
 

Desculpe, HideYourRichess, mas você parece ter saído do fundo do poço. Eu não sei mais o que discutir com você, já que você insiste tanto em fazer bobagens. Sua lógica de raciocínio

Ни Марков, ни Байес не имеют отношения к ТИ. А тер.вер. имеет.

é completamente incompreensível para mim.

Não vou acreditar nisso. Mostre-me a fonte que afirma que

A demanda por independência é a pedra angular da ter.faith.