Обсуждение статьи "Нейросети — это просто (Часть 93): Адаптивное прогнозирование в частотной и временной областях (Окончание)"
Дмитрий здравствуйте!
Подскажите а как Вы производите обучение и пополнение базы примеров за год истории? У меня в Ваших советниках из последних статей (где используете год истории) наблюдается проблема с пополнением новых примеров в файл bd. Дело в том что когда этот файл доходит до размера 2 Гб, он видимо как то криво начинает сохранятся и потом советник обучения моделей не может его прочитать и выдаёт ошибку. Либо у файла bd резко начинает падать размер, с каждым новым пополнением примерами в плоть до нескольких мегабайт и потом советник обучения всё равно выдаёт ошибку. Данная проблема возникает до 150 траеторий если за год брать историю и примерно до 250 если за 7 месяцев. Размер файла bd растёт очень быстро. К примеру 18 траекторий весят почти 500 Мб. 30 траекторий 700 Мб.
В результате чтобы обучать приходится данный файл при наборе за 7 месяцев где-то 230 траеторий по просту удалять и создавать его заново предобученным советником. Но при таком режиме механизм обновления траеторий при пополнении базы данный по просту не работает. Я предполагаю что это связано с ограничением в 4 Гб ОЗУ на один поток в МТ5. Где-то в справке про это писали.
Что интересно в ранних статьях (где история была за 7 месяцев, и база на 500 траекторий весила примерно 1 Гб) такой проблемы не было. Ресурсами пк у меня это не ограничено тк ОЗУ более 32 Гб и на видеокарте памяти достаточно.
Дмитрий как Вы обучаете с учётом данного момента или может быть Вы как либо настроили МТ5 предварительно?
Файлы использую из статей без какой либо модификации.
Дмитрий здравствуйте!
Подскажите а как Вы производите обучение и пополнение базы примеров за год истории? У меня в Ваших советниках из последних статей (где используете год истории) наблюдается проблема с пополнением новых примеров в файл bd. Дело в том что когда этот файл доходит до размера 2 Гб, он видимо как то криво начинает сохранятся и потом советник обучения моделей не может его прочитать и выдаёт ошибку. Либо у файла bd резко начинает падать размер, с каждым новым пополнением примерами в плоть до нескольких мегабайт и потом советник обучения всё равно выдаёт ошибку. Данная проблема возникает до 150 траеторий если за год брать историю и примерно до 250 если за 7 месяцев. Размер файла bd растёт очень быстро. К примеру 18 траекторий весят почти 500 Мб. 30 траекторий 700 Мб.
В результате чтобы обучать приходится данный файл при наборе за 7 месяцев где-то 230 траеторий по просту удалять и создавать его заново предобученным советником. Но при таком режиме механизм обновления траеторий при пополнении базы данный по просту не работает. Я предполагаю что это связано с ограничением в 4 Гб ОЗУ на один поток в МТ5. Где-то в справке про это писали.
Что интересно в ранних статьях (где история была за 7 месяцев, и база на 500 траекторий весила примерно 1 Гб) такой проблемы не было. Ресурсами пк у меня это не ограничено тк ОЗУ более 32 Гб и на видеокарте памяти достаточно.
Дмитрий как Вы обучаете с учётом данного момента или может быть Вы как либо настроили МТ5 предварительно?
Файлы использую из статей без какой либо модификации.
Виктор,
Даже не знаю, что Вам ответить. У меня работают и файлы большего размера.
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Вы принимаете политику сайта и условия использования
Опубликована статья Нейросети — это просто (Часть 93): Адаптивное прогнозирование в частотной и временной областях (Окончание):
В данной статье мы продолжаем реализацию подходов ATFNet — модели, которая адаптивно объединяет результаты 2 блоков (частотного и временного) прогнозирования временных рядов.
В предыдущей статье мы познакомились с алгоритмом ATFNet, который представляет собой ансамбль из 2 моделей прогнозирования временных рядов. Одна из них работает во временной области и строит прогнозные значения изучаемого временного ряда на основе анализа амплитуд сигнала. Вторая модель работает с частотными характеристиками анализируемого временного ряда и фиксирует его глобальные зависимости, их периодичность и спектр. Адаптивное объединение двух независимых прогнозов, по словам автором метода, позволяет достичь впечатляющих результатов.
Ключевой особенностью частотного F-блока является полное построение алгоритма с использованием математики комплексных чисел. Для выполнения данного требования в предыдущей статье мы построили класс CNeuronComplexMLMHAttention, в котором полностью повторили алгоритм многослойного Энкодера Transformer с элементами многоголового Self-Attention. Построенный нами класс комплексного внимания является основой F-блока. И в данной статье мы продолжим реализацию подходов, предложенных авторами метода ATFNet.
Автор: Dmitriy Gizlyk