Diskussion zum Artikel "Neuronale Netze leicht gemacht (Teil 62): Verwendung des Entscheidungs-Transformer in hierarchischen Modellen"

 

Neuer Artikel Neuronale Netze leicht gemacht (Teil 62): Verwendung des Entscheidungs-Transformer in hierarchischen Modellen :

In den letzten Artikeln haben wir verschiedene Optionen für die Verwendung der Entscheidungs-Transformer-Methode gesehen. Die Methode erlaubt es, nicht nur den aktuellen Zustand zu analysieren, sondern auch die Trajektorie früherer Zustände und die darin durchgeführten Aktionen. In diesem Artikel werden wir uns auf die Anwendung dieser Methode in hierarchischen Modellen konzentrieren.

Die Erhebung einer Trainingsprobe für den historischen Zeitraum in den ersten 7 Monaten des Jahres 2023 erwies sich als recht arbeitsintensiv. Ich bin auf das Problem gestoßen, dass selbst bei einem kleinen Stichprobenhorizont von Agentenaktionen die meisten Durchläufe die Anforderung eines positiven Saldos nicht erfüllten.

 

Um den optimalen Planungshorizont im Optimierungsmodus zu wählen, wurde die Anzahl der Iterationen pro Durchlauf an die optimierten Parameter angepasst.

Nach dem Sammeln der Trainingsmenge und dem Training des lokalen Richtlinienmodells habe ich das Training des Planers und des Kostenfunktionsmodells parallel durchgeführt. Auf diese Weise konnte ich den Zeitaufwand für das Training der Modelle erheblich reduzieren.

Autor: Dmitriy Gizlyk