Обсуждение статьи "Нейросети — это просто (Часть 5): Многопоточные вычисления в OpenCL" - страница 4

Новый комментарий
 
Можно ли сделать LSTM-сеть c OpenCL? Если да, то с какой версией NeuroNet.mqh лучше? С версией из этой статьи выдается ошибка "Error of execution kernel CaclOutputGradient: 0". А с версией из статьи 7 похоже вообще OpenCL не используется, если создавать нейроны defNeuronLSTM. А  defNeuronLSTMOCL не реализован.
Нейросети — это просто (Часть 7): Адаптивные методы оптимизации
Нейросети — это просто (Часть 7): Адаптивные методы оптимизации
  • www.mql5.com
В предыдущих статьях мы рассмотрели разные типы нейронов, но всегда использовали метод стохастического градиентного спуска для обучения нейронной сети. Данный метод, наверное, можно назвать базовым и различные его вариации очень часто используются на практике. Тем не менее, он не единственный и существует целый ряд других методов для обучения...
 
Ivan Titov:
Можно ли сделать LSTM-сеть c OpenCL? Если да, то с какой версией NeuroNet.mqh лучше? С версией из этой статьи выдается ошибка "Error of execution kernel CaclOutputGradient: 0". А с версией из статьи 7 похоже вообще OpenCL не используется, если создавать нейроны defNeuronLSTM. А  defNeuronLSTMOCL не реализован.
На данный момент LSTM ещё не переведен в OpenCL. Планирую сделать в ближайшем будущем.
 
Ясно, спасибо. Просьба также уточнить: recentAverageSmoothingFactor = 10000 - задано жестко. Надо ли менять его на количество значений в обучающей выборке?
 
Ivan Titov:
Ясно, спасибо. Просьба также уточнить: recentAverageSmoothingFactor = 10000 - задано жестко. Надо ли менять его на количество значений в обучающей выборке?

Если выборка меньше, то нужно уменьшить. Увеличивать есть смысл, если Вы хотите видеть ошибку по всей выборке.
Я использую жесткое значение, чтобы оценивать работу сети в разных рыночных условиях.

 

Дмитрий, не могу понять, почему не происходит обновление значений в массиве. При этом никаких ошибок нет - выход из метода по false не происходит. Можете проверить это у себя?

bool CNeuronBaseOCL::calcOutputGradients(CArrayDouble *Target)
  {
   if(CheckPointer(OpenCL)==POINTER_INVALID || CheckPointer(Target)==POINTER_INVALID)
      return false;
   uint global_work_offset[1]= {0};
   uint global_work_size[1];
   global_work_size[0]=Target.Total();
   for(uint i=0; i<global_work_size[0]; i++)
     {
      double z=Target.At(i);                    //<--В массиве Target три значения (1,0;0.0;0.0)
      if(!Gradient.Update(i,Target.At(i)))
         return false;
     }
                                                //Проверяем значения в массиве Gradient после обновления
   double target[];                             
   if(getGradient(target)<Gradient.Total())     //<--В массиве target три значения (0,0;0.0;0.0)
      return false;
//---
   Gradient.BufferWrite();
......
 }
 
Aleksei Lesnikov:

Дмитрий, не могу понять, почему не происходит обновление значений в массиве. При этом никаких ошибок нет - выход из метода по false не происходит. Можете проверить это у себя?

Алексей, метод update наследуется от класса CArrayDouble и записывает данные в массив, но не передает их в буфер GPU.

if(!Gradient.Update(i,Target.At(i)))
         return false;

В тоже время, при вызове метода getGradient, происходит считывание данных с буфера GPU, что и перезатирает внесенные ранее изменения.

virtual int       getGradient(double &values[])    {  return Gradient.GetData(values);    }
.......
int CBufferDouble::GetData(double &values[])
  {
   if(!BufferRead())
      return false;
   return ArrayCopy(values,m_data,0,0,m_data_total);
  }
 
Dmitriy Gizlyk:

Алексей, метод update наследуется от класса CArrayDouble и записывает данные в массив, но не передает их в буфер GPU.

В тоже время, при вызове метода getGradient, происходит считывание данных с буфера GPU, что и перезатирает внесенные ранее изменения.

Действительно, что-то я сглупил. Спасибо.
 

Спасибо за эти статьи! Было очень интересно следить за идеями этой системы.

Меня очень заинтересовал LSTM-модуль, есть ли способ использовать Open-CL для LSTM-сетей?

Я пытался модифицировать LSTM-EA для работы с Open-CL, но безуспешно.

С наилучшими пожеланиями

Понтус

 
<br/ translate="no">
Куда следует установить файл .cl?
 
pennyhunter #:
Куда следует установить файл .cl?

Здравствуйте, вам не нужно устанавливать .cl файл. Вы просто загружаете его в основную программу, как строку


12345
Новый комментарий