Выбор исходных данных

Мы определились с постановкой задачи, теперь перейдем к выбору исходных данных. Здесь есть свои особенности и подходы к решению данной задачи. На первый взгляд может показаться, что можно сгрузить всю доступную информацию в нейронную сеть и дать ей возможность самой выстроить правильные зависимости в процессе обучения. Такой подход непредсказуемо затянет процесс обучения без гарантии получения желаемого результата.

Первая проблема на нашем пути — это объем информации. Чтобы передать большой объем информации в нейронную сеть нам потребуется довольно большой входной слой нейронов с большим количеством связей. Следовательно, потребуется больше времени на обучение.

Далее мы столкнемся с проблемой несопоставимости данных. Выборки различных показателей будут иметь сильно отличающиеся статистические характеристики. К примеру, цена инструмента будет всегда положительная, а ее изменение может быть как положительное, так и отрицательное.

Некоторые индикаторы имеют нормализованные значения, а другие нет. Величины значений различных показателей и амплитуда их изменений могут отличаться в сотни раз. При этом их влияние на конечный результат может быть сопоставимым, или даже показатель с меньшими значениями может оказывать большее влияние.

Такая ситуация сильно усложнит процесс обучения, так как в массиве больших значений сложно будет выявить влияние малых величин.

Еще одна проблема заключается в использовании сильно коррелируемых показателей. Наличие корреляции между показателями может свидетельствовать либо о причинно-следственной связи между ними, либо о том, что оба показателя зависимы от одного общего фактора. Следовательно, использование коррелируемых показателей объединяет две вышеуказанные проблемы и их следствия. Использование нескольких показателей, зависящих от одного фактора, завышает его влияние на общий результат. При этом излишние нейронные связи усложняют модель и затягивают процесс обучения.

Отбор показателей

Проведем подготовительную работу с учетом вышеизложенных соображений. Конечно, мы не будем вручную выбирать и сопоставлять данные, ведь мы живем во времена компьютерных технологий. Для расчета коэффициента корреляции создадим небольшой скрипт в файле initial_data.mq5.

Напомню, что согласно описанной ранее структуре каталогов, все скрипты сохраняются в папке terminal_dir\MQL5\Scripts. Для скриптов нашей книги мы создадим подкаталог NeuroNetworksBook, а для всех скриптов из данной главы — подкаталог initial_data. Таким образом, полный путь создаваемого файла примет вид:

• terminal_dir\MQL5\Scripts\NeuroNetworksBook\initial_data\initial_data.mq5

Непосредственно расчет коэффициента корреляции будем осуществлять с использованием библиотеки математической статистики из поставки MetaTrader 5. В заголовке скрипта подключим необходимую библиотеку, во внешних параметрах укажем период для анализа.

При запуске скрипта MetaTrader 5 генерирует событие Start, которое обрабатывает функция OnStart в теле скрипта. В начале этой функции получим хендлы нескольких индикаторов для проведения дальнейшего анализа.

Следует обратить внимание, что в моем списке индикаторов первым идет ZigZag, который мы будем использовать для получения эталонных значений при обучении нейронной сети. Здесь же мы будем использовать его для проверки корреляции показаний индикаторов с эталонными значениями.

Параметры индикатора определяются пользователем на стадии постановки задачи. Я планирую производить обучение нейронной сети на данных таймфрейма М5, поэтому указал параметр Depth равным 48, что соответствует четырем часам. Таким образом, я ожидаю, что индикатор отобразит 4-часовые экстремумы.

Список и параметры индикаторов для анализа определяются архитектором нейронной сети исходя из своих соображений. Также возможен подбор параметров при оценке корреляции, что мы посмотрим немного позже. На данном этапе укажем индикаторы и их параметры из наших субъективных соображений.

Следующим этапом загрузим исторические данные котировок и индикаторов. Для получения исторических данных создадим ряд массивов, названия которых будут созвучны с названиями индикаторов и котировок. Это позволит нам не путаться в работе с ними.

Получение котировок в MQL5 осуществляется функциями CopyOpen, CopyHigh, CopyLow и CopyClose. Функции созданы по одному шаблону, а из названия функции понятно, какие котировки она возвращает. За получение данных с индикаторных буферов отвечает функция CopyBuffer. Вызов функции похож на функции получения котировок, только название инструмента и таймфрейм заменяются хендлом индикатора и номером буфера. Напомню, что хендлы индикаторов мы получили немного выше.

Все функции записывают данные в указанный массив и возвращают количество скопированных значений. Поэтому при вызове проверяем наличие загруженных данных, а при их отсутствии выходим из скрипта. В таком случае дадим терминалу немного времени на загрузку котировок с сервера и пересчет значений индикаторов. После этого повторно запустим скрипт.

Как уже было сказано выше, не все показатели имеют сопоставимый вид. И хотя линейные преобразования несильно повлияют на коэффициент корреляции, нам все же нужно провести предварительную обработку некоторых величин.

В первую очередь это касается параметров, прямо указывающих на цену инструмента. Ведь мы же хотим воссоздать инструмент, способный проецировать накопленные знания на будущие рыночные ситуации, когда будет схожее ценовое движение, но уже на новом ценовом уровне. Поэтому мы должны уйти от абсолютных ценовых значений в некоторую относительную область.

Так вместо цен открытия и закрытия свечи мы можем взять их разность (размер тела свечи) в качестве показателя интенсивности ценового движения. Свечные экстремумы High и Low мы также заменим на их отклонение от цены открытия или закрытия свечи. Аналогично поступим с индикаторами SAR и Bollinger Bands.

Вспомним о классических правилах торговли по индикатору MACD. В них помимо самих значений индикатора важно и положение сигнальной линии относительно гистограммы. Для проверки такой зависимости добавим в качестве еще одного показателя разность значений между линиями индикатора.

Отдельно стоит сказать о нашем ориентире ценового движения. Индикатор ZigZag дает абсолютные ценовые величины экстремумов на конкретной свече. Нам же желательно знать ценовой ориентир для каждой рыночной ситуации. Иными словами, нам нужен ценовой ориентир предстоящего движения на каждой отдельно взятой свече. При этом мы будем рассматривать два варианта такого ориентира:

• направление движения (вектор target1),
• величина движения (вектор target2).

Решить эту задачу мы можем с помощью цикла. Запустим перебор значений индикатора ZigZag в обратном порядке (от последних значений к самым старым). Если индикатор нашел экстремум, сохраним его значение в локальную переменную extremum. При отсутствии экстремума используем последнее сохраненное значение.

Одновременно, в этом же цикле, будем рассчитывать и сохранять целевые значения для нашей выборки. Для этого будем от ценового значения последней вершины отнимать цену закрытия анализируемого бара. Таким образом мы получим величину движения до ближайшего будущего экстремума (вектор target2). Знак значения покажет направление движения (вектор target1).

После проведенной подготовительной работы проведем непосредственно проверку корреляции данных. Так как мы будем осуществлять одну и ту же операцию для данных различных индикаторов, то есть смысл перенести выполнение данной итерации в отдельную функцию. Из тела функции Start будем осуществлять только ее вызов, передавая при этом различные исходные данные. Результаты корреляционного анализа сохраним в CSV-файл для дальнейшей обработки.

Алгоритм нашего метода проверки корреляции довольно прост. Расчет коэффициента корреляции осуществляет функция из стандартной библиотеки статистического анализа MQL5 MathCorrelationPearson, которую мы поочередно вызываем для двух наборов данных:

• индикатор и направление предстоящего движения,
• индикатор и сила предстоящего движения.

Из результатов анализа формируется текстовое сообщение и записывается в локальный файл.

Результаты проведенного мной анализа представлены на графике ниже. Полученные данные свидетельствуют об отсутствии корреляции между нашими целевыми данными и значениями индикатора ATR. Отклонение от экстремумов свечи до цены ее закрытия (High — Close, Close — Low) также демонстрируют низкую корреляцию с ожидаемым ценовым движением. Следовательно, мы можем смело исключить данные показатели из нашего дальнейшего анализа.

В целом же, проведенный анализ показывает, что определить направление предстоящего движения гораздо проще, чем предсказать его силу. Все индикаторы показали большую корреляцию с направлением, нежели с величиной предстоящего движения. В то же время корреляция со всеми показателями остается довольно низкая. Наибольшую корреляцию показал индикатор RSI с показателями 0,40 к направлению и 0,22 к величине движения.

Напомню, что коэффициент корреляции принимает значения от −1 (обратная зависимость) до 1 (прямая зависимость). При 0 полностью отсутствует зависимость между случайными величинами.

Наверное, следует обратить внимание, что из трех массивов данных, полученных от индикатора MACD (гистограмма, сигнальная линия и разница между ними), именно расстояние между линиями MACD показало наибольшую корреляцию с целевыми данными. Это только подтверждает правильность классического подхода к использованию сигналов индикатора.

Следующим этапом проверим корреляцию между данными различных индикаторов. Чтобы не сравнивать каждый индикатор со всеми остальными, проведем анализ корреляции индикаторов с RSI (победителем предыдущего этапа). Работу выполним с помощью ранее созданного скрипта с небольшими изменениями. Новый скрипт сохраним в файле initial_data_rsi.mq5 нашего подкаталога.

Проведенный анализ продемонстрировал сильную корреляцию RSI с целым рядом индикаторов. Stochastic, CCI и MFI имеют коэффициент корреляции с RSI более 0,70, а основная линия Bollinger Bands показала обратную корреляцию с RSI с показателем −0,76. Это свидетельствует о том, что показатели вышеуказанных индикаторов лишь будут дублировать сигналы. Включение их для анализа в нашу нейронную сеть лишь усложнит ее архитектуру и обслуживание. При этом ожидаемый эффект от их использования будет минимален. Поэтому мы исключаем вышеуказанные индикаторы из дальнейшей проработки.

Минимальную корреляцию с RSI демонстрируют 2 показателя отклонений:

• сигнальная линия MACD (0,40);
• между ценами открытия и закрытия (0,23).

Отклонение сигнальной линии MACD от гистограммы на первом этапе показало большую корреляцию с целевыми данными предстоящего ценового движения. Опираясь на эти данные, именно MACD возьмем в нашу корзину показателей. Далее проверим корреляцию с ним оставшихся индикаторов.

Обновленный скрипт сохраним в файле initial_data_macd.mq5 подкаталога.

Здесь довольно интересные данные показывает индикатор SAR. При средних показателях обратной корреляции с целевыми данными он демонстрирует довольно высокую обратную корреляцию с обоими отобранными индикаторами. Коэффициент корреляции с MACD составил −0,66, а для RSI — −0,62. Это дает нам основание для исключения индикатора SAR из корзины анализируемых показателей.

Аналогичная ситуация по всем трем линиям индикатора Bollinger Bands.

Таким образом, на текущий момент мы отобрали два индикатора в нашу корзину показателей для последующего обучения нейронной сети.

Но это еще не конец на пути по отбору исходных данных. Следует сказать, что нейронная сеть анализирует линейные зависимости между целевыми значениями и исходными данными в чистом виде. То есть анализируются те данные, которые ей поданы на вход. При этом каждый показатель анализируется в отрыве от других данных, имеющихся на входном слое нейронов.

Поэтому нейронная сеть не построит зависимость между исходными данными и целевыми показателями, если она не линейная, а, к примеру, степенная или логарифмическая. Для поиска таких зависимостей нам необходимо предварительно подготовить данные. А для проверки целесообразности такой работы мы должны проверить наличие корреляции между такими значениями.

В скрипте initial_data_rsi_pow.mq5 проведем анализ изменения корреляции с ожидаемым ценовым движением при возведении в различную степень значений индикатора RSI. Новый скрипт разместим в соответствующем подкаталоге.

На представленном графике четко прослеживается, что с ростом степени возведения значений индикатора корреляция с исходными значениями снижается значительно быстрее чем с ожидаемым ценовым движением. Это наблюдение дает нам потенциальную возможность расширить корзину показателей исходных данных степенными значениями отобранных показателей. Чуть позже мы сможем посмотреть, как это работает на практике.

Следует обратить внимание, что при использовании степенных операций над показателями необходимо помнить о свойствах степеней и природы значений показателя. Так при возведении любого числа в четную степень результат всегда будет положительным. Иными словами, мы теряем знак числа.

К примеру, у нас есть два равных по модулю значения одного показателя с разными знаками, и они коррелируют с целевыми данными. При положительном значении показателя целевая функция растет, а при отрицательных падает. Возведение в квадрат значений такого показателя даст нам одинаковое значение. В таком случае мы увидим снижение корреляции или полное ее отсутствие, так как наша целевая функция осталась неизменной, в то время как показатель лишился знака.

Этот эффект хорошо заметен при анализе изменения корреляции при возведении в степень разницы между линиями индикатора MACD, который мы провели в скрипте initial_data_macd_pow.mq5 нашего подкаталога.

Аналогичным образом можно проверить корреляцию различных показателей с целевыми значениями. Ограничением являются только ваши возможности и здравый смысл. Помимо стандартных индикаторов и ценовых котировок это могут быть и пользовательские индикаторы, котировки других инструментов, в том числе и синтетических. Не бойтесь экспериментировать — иногда можно найти хорошие показатели в самых неожиданных местах.

 

Влияние временного сдвига на коэффициент корреляции

После выбора показателей для анализа вспомним, что мы имеем дело с временными рядами. Одной из особенностей временных рядов является их «историческая память». Каждое последующее значение является зависимым не только от одного предыдущего значения, но и от некой глубины исторических значений.

Можно, конечно, пойти экспериментальным путем — построить нейронную сеть и после ряда экспериментов выбрать оптимальный вариант. Такой подход потребует времени на создание нескольких экспериментальных моделей и их обучение. А можно воспользоваться нашей выборкой и проверить корреляцию данных со сдвигом в историю.

Для решения данной задачи немного изменим скрипт и заменим в нем функцию Correlation на ShiftCorrelation. Новая функция является полным наследником функции Correlation и построена по тому же алгоритму.

В параметрах функции добавим новую переменную max_shift, в которую передадим максимальный сдвиг для анализа.

Смещение по времени организуем путем копирования данных в новые массивы со сдвигом. Исходные данные будут копироваться без смещения, но в меньшем объеме. Сокращение количества данных соответствует смещению во времени. В то же время данные о целевых значениях будем переносить в новые массивы со смещением. Но так как размер целевых данных в нашей выборке постоянный, то при смещении количество элементов для анализа корреляции сокращается. Таким образом, после копирования данных мы получаем массивы данных, сопоставимые по размеру, и с заданным сдвигом во времени.

Остается только вызвать функцию расчета коэффициента корреляции и записать полученные данные в файл.

Для анализа изменения корреляции с ростом смещения во времени обернем все операции в цикл. Количество циклических итераций соответствует параметру max_shift.

Чтобы проанализировать влияние смещения значений индикатора RSI во времени на корреляцию с целевыми данными, создадим новый скрипт в файле initial_data_rsi_shift.mq5 подкаталога.

Результаты проведенного анализа показывают стремительное снижение корреляции до 30-го бара. Затем наблюдается небольшая обратная корреляция с пиковым коэффициентом −0,042 в районе 60-го бара и последующим плавным приближением к 0. В такой ситуации наибольшую эффективность даст нам использование первых 30 баров. Дальнейшее расширение глубины анализа может привести к снижению эффективности использования вычислительных ресурсов. Ценность такого решения можно проверить на практике.

Аналогичный анализ данных индикатора MACD в скрипте initial_data_macd_shift.mq5 показал схожую динамику с небольшим смещение зоны перехода из прямой в обратную корреляцию в район 40-го бара.

Таким образом, проведение анализа корреляции доступных исходных данных и целевых значений позволяет нам на этапе подготовительной работы выбрать оптимальную корзину показателей и глубину истории, необходимой для анализа данных и прогнозирования целевых показателей. Это позволяет нам при относительно небольших трудозатратах на подготовительном этапе значительно сократить расходы на этапах проектирования и обучения нейронной сети.