Обсуждение статьи "Нейросети — это просто (Часть 37): Разреженное внимание (Sparse Attention)"

[MetaQuotes]

Опубликована статья Нейросети — это просто (Часть 37): Разреженное внимание (Sparse Attention):

В предыдущей статье мы познакомились с реляционными моделями, в архитектуре которых используются механизмы внимания. Одной из особенностей указанных моделей является повышенное использование вычислительных ресурсов. В данной статье будет предложен один их механизмов уменьшения количества вычислительных операций внутри блока Self-Attention. Что позволит увеличить производительность модели в целом.

Мы обучали модель и тестировали советника на исторических данных EURUSD таймфрейма H1 за март 2023 года. В процессе обучения мы смогли заработать прибыль за тестовый период. Стоит отметить, что прибыль была получена благодаря тому, что размер средней прибыльной сделки был больше, чем размер средней убыточной сделки. При этом количество выигрышных и проигрышных позиций было примерно одинаковым. Как результат, профит-фактор составил 1.12, а фактор восстановления — 1.01.

Автор: Dmitriy Gizlyk

[Kekeletso Mofokeng]

Could the hardware I'm using be the cause of the error ?

[Tabata Voegele]

It seems not to work with Nvidia Graphic Cards, as I have the same Error with different RTX A Graphic-Cards.

[Shah Yahya]

I encounter the following error

2023.04.12 07:35:20.755 Core 01 2023.03.01 00:00:00 invalid pointer access in 'NeuroNet.mqh' (2913,18)
2023.04.12 07:35:20.755 Core 01 OnInit critical error
2023.04.12 07:35:20.755 Core 01 tester stopped because OnInit failed

Intel UHD 730
Metatrader build 3661

[Tabata Voegele]

This error is caused by the fact that your GPU does not support fp64 as you can see in your error-log

[star-ik]

А у меня какая причина?

2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00   Error of execution kernel bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: unknown OpenCL error 132640

[Tabata Voegele]

If you use an Nvidia GPU this is probably the reason, unfortunately the author so far as no Nvidia GPU so far and is so unable to sort this error out, on his GPU the code seems to work.

[Dmitriy Gizlyk]

star-ik #:

А у меня какая причина?

2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00   Error of execution kernel bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: unknown OpenCL error 132640

Попробуйте использовать эту библиотеку