L'apprentissage automatique dans la négociation : théorie, modèles, pratique et algo-trading - page 3293

 
Maxim Dmitrievsky #:

Le ministère de la défense utilise un calendrier différent

Dans l'inférence de Kozol, il est plus facile de travailler avec le biais qu'avec la variance. D'où la conclusion non hypothétique que la complexité du modèle ou l'augmentation du nombre de caractéristiques entrave plus qu'elle n'aide.


D'où vient ce graphique ?

Le MO utilise des critères complètement différents, tels que l'AIC, qui est pénalisé par la présence d'un trop grand nombre de paramètres.

Ce critère et d'autres critères d'information sont conformes à une hypothèse courante en matière de modélisation, à savoir que parmi deux modèles ayant les mêmes performances, c'est celui qui comporte le moins de paramètres qui est choisi.

N'oublions pas que le concept même de "modèle" est un abrutissement de la réalité. Il n'y a pas d'extrêmes. Il y a un équilibre entre la simplification et l'acceptabilité de la précision du modèle. Mais l'essentiel n'est pas la précision du modèle, mais sa grossièreté, sa capacité de généralisation. Et c'est compréhensible, puisque le principal ennemi de la modélisation est l'ajustement excessif, le frère de la précision du modèle.

 
СанСаныч Фоменко #:

D'où vient ce graphique ?

L'essentiel de l'essentiel

https://en.wikipedia.org/wiki/Bias%E2%80%93variance_tradeoff

 
СанСаныч Фоменко #:

N'oublions pas que la notion même de "modèle" est une condensation de la réalité. Il n'y a pas d'extrêmes ici. Il y a un équilibre entre le grossissement et l'acceptabilité de la précision du modèle. Mais l'essentiel n'est pas la précision du modèle, mais son caractère plus grossier, sa capacité de généralisation. Et c'est compréhensible, puisque le principal ennemi de la modélisation est l'ajustement excessif, le frère de la précision du modèle.

Vous confondez constamment le concept d'"extremum" avec celui de "pic aigu" (le point où une fonction n'a pas de dérivée).

Même une surface plane a un extremum.

Une autre chose est que les FF essaient toujours de choisir de manière à ce que la surface du FF soit aussi lisse que possible et que l'extremum global soit le seul. L'unique extremum global doit être la seule solution non ambiguë du problème.

Si l'extremum global de la FF n'est pas le seul, et plus encore s'il n'a pas de dérivée, cela signifie que le choix de la FF (le critère d'évaluation du modèle) est incorrect. Une mauvaise compréhension de ce point conduit au terme "overfitting", une mauvaise compréhension de ce point conduit à la recherche d'un extrémum local ambigu.

Nous pouvons faire une analogie : un spécialiste - un médecin - est formé, des examens de qualification (FF) sont développés pour la certification, pour un médecin il ne peut y avoir de concept de "surformation" ou de "suradaptation", si un médecin n'obtient pas le score maximum - cela signifie qu'il est sous-formé. Et selon vous, un bon médecin devrait toujours être un sous-entraîné peu performant.

Une fois de plus, le problème du "surentraînement" réside dans le mauvais choix des critères d'évaluation du modèle. Il semble que de tels experts soient présents sur le forum, mais ils répètent sans cesse les mêmes erreurs. Le développement de critères d'estimation corrects n'est pas moins important que le choix des prédicteurs, sinon il est tout simplement impossible d'estimer correctement le modèle.

Je m'attends à une avalanche d'objections, mais ce n'est pas grave, j'y suis habitué. Si cela peut être utile à quelqu'un, tant mieux, et ceux qui ne le seront pas, peu importe, alors ils pensent que c'est très bien comme ça.

 
Andrey Dik #:

Vous continuez à confondre le concept d'"extremum" avec celui de "pic aigu" (le point où une fonction n'a pas de dérivée).

Même une surface plane possède un extremum.

Par ailleurs, les FF essaient toujours de choisir de manière à ce que la surface des FF soit aussi lisse que possible et que l'extremum global soit le seul. L'unique extremum global doit être la seule solution non ambiguë du problème.

Si l'extremum global de la FF n'est pas le seul, et plus encore s'il n'a pas de dérivée, cela signifie que le choix de la FF (le critère d'évaluation du modèle) est incorrect. Une mauvaise compréhension de ce point conduit au terme "overfitting", une mauvaise compréhension de ce point conduit à la recherche d'un extremum local ambigu.

Nous pouvons faire une analogie : un spécialiste - un médecin - est formé, des examens de qualification (FF) sont développés pour la certification, pour un médecin il ne peut y avoir de concept de "surformation" ou de "suradaptation", si un médecin n'obtient pas le score maximum - cela signifie qu'il est sous-formé. Et selon vous, un bon médecin devrait toujours être un non-scientifique sous-formé.

Une fois de plus, le problème du "surentraînement" réside dans le mauvais choix des critères d'évaluation du modèle. Il semble que de tels experts soient présents sur le forum, mais ils répètent sans cesse les mêmes erreurs. L'élaboration de critères d'estimation corrects n'est pas moins importante que la sélection des prédicteurs, sans quoi il est tout simplement impossible d'estimer correctement le modèle.

Je m'attends à une avalanche d'objections, mais ce n'est pas grave, j'y suis habitué. Si cela peut être utile à quelqu'un, tant mieux, et ceux qui ne seront pas utiles s'en fichent complètement, ils pensent donc que c'est très bien comme ça.

Vous confondez les entités. Vous essayez de faire correspondre l'optimisation à l'approximation, ou vice versa.

L'approximation et l'optimisation sont des approches différentes pour résoudre les problèmes d'apprentissage automatique.


L'approximation consiste à construire un modèle qui se rapproche de la relation entre les données d'entrée et de sortie. Il peut s'agir, par exemple, de construire une fonction linéaire ou non linéaire qui décrit au mieux les données. L'approximation ne tient pas compte de l'objectif ou du problème à résoudre, mais cherche seulement à construire un modèle qui corresponde au mieux aux données.


L'optimisation, quant à elle, consiste à trouver les paramètres optimaux du modèle pour atteindre un objectif ou un problème particulier. Dans ce cas, le modèle peut être plus complexe et contenir plus de paramètres que dans le cas de l'approximation. L'optimisation tient compte du but ou de l'objectif et ajuste les paramètres du modèle pour obtenir le meilleur résultat possible.


En général, l'approximation et l'optimisation sont souvent utilisées conjointement pour construire des modèles d'apprentissage automatique efficaces. L'approximation est d'abord utilisée pour construire le modèle, puis l'optimisation pour ajuster les paramètres de ce modèle afin d'atteindre l'objectif ou la tâche souhaitée.

 
Le réseau neuronal ne se préoccupe pas de vos FF. Il s'acquitte de sa tâche sur la base de données standard. La discussion porte ici sur la manière de trouver un équilibre entre la variance et le biais d'un tel modèle. Mitramiles a placé différents FF à la deuxième extrémité du NS. Il a obtenu les mêmes résultats.

Vous parlez de trouver une cible f-i, que nous avons déjà fixée par défaut.

Vous devez encore comprendre la différence.
 
C'est la raison pour laquelle il a été écrit plus haut qu'il est important de bien baliser ou d'utiliser Oracle, sur la base de connaissances d'experts ou de décisions algorithmiques. C'est ce que vous apportez dans le modèle a priori. Aucun FF ne vous sauvera sur ce point.

La question a déjà été débattue à plusieurs reprises et tourne en rond. Soit on discute de quelque chose de concret, soit chacun tire la charge de son côté.
 

Je vous l'ai dit.

Je comprendrais que Sanych commence à se défendre, mais Max....

FF est une évaluation, nous évaluons tout. Si nous évaluons mal ce que nous faisons, cela ne veut pas dire que nous le faisons mal. Sans une évaluation correcte, c'est du 50/50 et ensuite ils disent - ceci ne marche pas, cela ne marche pas.... Je ne prétends pas être un expert en conception d'évaluation, c'est une tâche très difficile.

"C'est juste la même chose qui est dite en rond" - ce ne sont pas mes mots, si tant est qu'il y en ait)))))) Il est possible de changer des mots à certains endroits pour que le résultat soit encore pire. Ici, le critère d'évaluation est le "nombre de mots", mais ce n'est pas une évaluation correcte, car en changeant des mots à certains endroits, le sens peut changer radicalement.

 
Je ne peux m'empêcher de vous annoncer une nouvelle stupéfiante (si vraie pour moi) : un algorithme encore plus puissant que le SSG a été trouvé.
 
Il y a une substitution constante de concepts, il est impossible de communiquer.
 
Maxim Dmitrievsky #:
Il y a une substitution constante des concepts, il est impossible de communiquer.

Je suis d'accord, personne ne se comprend, il n'y a pas de critère unique pour évaluer un énoncé et sa charge sémantique. Personne ne sait qui veut dire quoi, comme dans cette anecdote :

- Qu'est-ce que tu veux dire ?

- Je veux dire ce que je veux dire.

C'est comme ça au ministère de la défense.