Question pour les développeurs - utilisation de tous les cœurs de calcul pendant l'optimisation - page 7

 
Boris Egorov:

le deuxième jour il ne compte rien, tous les cœurs au nombre de 12 locaux et environ 30 cœurs réseau sont inactifs, je ne le touche pas exprès.... Je ne sais pas à quoi il pense, probablement à la recherche du sens de la vie ou d'un remède contre le coronovirus :-)

Je pense que nous devrions abandonner l'optimiseur en raison de son inopérabilité et de sa lenteur.

et les récentes décisions prises par MT telles que la limitation aux seuls cœurs physiques, la distribution persistante et stupide d'un ensemble de tâches uniquement à certains cœurs et non à chaque cœur - une tâche - indique un manque total de compréhension de la part des développeurs de calculs à haute performance.

Pourquoi ne pas montrer une capture d'écran complète de la liste des agents plutôt qu'une partie de celle-ci ?

Journaux du testeur.

Moniteur de ressources.

Il semble que vous ayez surchargé non seulement votre ordinateur (en ce qui concerne les cœurs logiques et physiques), mais aussi la ferme.

 
Slava:

Pourquoi ne pas montrer une capture d'écran complète de la liste des agents plutôt qu'une partie de celle-ci ?

Journaux du testeur.

Moniteur de ressources.

Il semble que vous ayez surchargé non seulement votre ordinateur (en parlant de cœurs logiques et physiques) mais aussi la ferme.

aucun problème

Seulement c'est le même... disponibles et inactifs.

Je ne vois rien à redire dans les journaux.

Je ne me suis pas trompé... lire le message ci-dessus

 

Au fait, il y a une autre histoire triste à propos des bûches

On a souvent demandé aux développeurs de les désactiver ou de limiter leur taille - et le résultat est nul.

en conséquence, les journaux consomment tout l'espace disque .... avec tout ce que cela implique.

Je supprime les journaux épisodiquement ... Je n'ai pas besoin de fichiers journaux en tant que classe et s'il y a des erreurs, elles sont immédiatement visibles dans la fenêtre de journal.

 

voici un petit quelque chose d'hier


 
surcharge confirmée de la mémoire .... bien qu'étrange, le swap est toujours présent, je pense que les développeurs doivent en tenir compte.
 
Boris Egorov:
informations confirmées sur la surcharge de la mémoire .... Bien que cela soit étrange, personne n'a annulé le swap, encore une fois, je pense que les développeurs doivent en tenir compte.

Peut-être l'avez-vous montré, je n'ai pas regardé - juste au cas où, je dirai que 1 Go de mémoire est recommandé par cœur (avec plus de cœurs, vous pouvez essayer 0,5 Go). Et je recommande la pagefile pour doubler la taille de la mémoire, et non la moitié, comme cela est habituellement recommandé. Je l'ai prouvé dans la pratique.

 

>1 Go de mémoire par cœur est recommandé

prendra en compte

 

C'est possible soit en utilisant un gestionnaire de tâches personnalisé pour les agents (je l'ai fait), soit en changeant l'algorithme de l'optimiseur régulier (les corrections ne sont pas significatives, d'ailleurs), mais les développeurs ne sont pas prêts à écouter mes suggestions, malheureusement.

J'ai implémenté un gestionnaire de tâches personnalisé pour les agents pour mon client italien, il utilise des serveurs puissants loués avec plusieurs centaines d'agents et il souffrait constamment d'un chargement incomplet des serveurs, parce que les agents étaient inactifs. maintenant tous les agents sont entièrement chargés, quel que soit l'agent qui termine la tâche en premier (indépendamment du temps d'achèvement de la tâche sur chaque agent).

 
Andrey Dik:

J'ai implémenté un gestionnaire de tâches personnalisé pour les agents pour mon client italien, il utilise des serveurs puissants loués avec plusieurs centaines d'agents et il souffrait constamment d'une sous-utilisation des serveurs, parce que les agents étaient inactifs. maintenant tous les agents sont entièrement chargés, peu importe quel agent termine la tâche en premier (peu importe le temps qu'il faut à chaque agent pour terminer la tâche).

Ce n'est pas bien de se vanter.)

Sur quoi le manager se base-t-il ? Comment les tâches sont-elles réparties?

 
Andrey Khatimlianskii:

La vantardise n'est pas une bonne chose.)

Sur quoi le manager se base-t-il ? Comment les tâches sont-elles réparties?

se vanter ? - Nan, je ne peux pas m'approcher de la qualité et des fonctionnalités de MT5 si je veux écrire une plateforme de trading analytique pour moi-même, il est plus facile de stimuler les développeurs avec des idées ...))

Dans un EA optimisé, un compteur de paramètres d'entrée supplémentaire est ajouté, qui est recherché par l'optimiseur MT5 en mode de recherche complète, vous pouvez définir jusqu'à 100 millions de pas, de sorte que l'optimiseur ne passe pas à la génétique. Le gestionnaire se suspend sous la forme d'un EA sur le graphique dans le terminal et écrit les tâches dans le dossier des agents, et l'EA optimisé dans l'optimiseur lit les tâches et écrit les résultats à la fin de la passe. En mode de recherche complète, l'optimiseur MT5 charge les agents de manière très régulière, et la tâche du gestionnaire consiste à alimenter les agents avec des paramètres d'entrée.

Le problème était seulement d'écrire un ha dans le manager qui pourrait travailler avec des individus dans la population en mode streaming sans avoir besoin de remplir complètement la population avant de commencer une nouvelle époque. j'ai résolu cela. en substance j'ai aboli le concept d'"époque", les individus naissent et meurent d'eux-mêmes. j'ai suggéré le même mécanisme aux développeurs, et un tel laifhack peut être utilisé non seulement avec ha. mais aussi avec d'autres aDs, fourmi, essaim de particules et autres, n'importe lesquels.