Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 451

 
Alexander Ivanov:
А Решетов представился к Богу?

Слухи ходят такие, сам на похоронах не присутствовал.

 

К трейдингу это не относится, просто интересный эксперимент.


Метод основных компонент (PCA) можно применять для подавления шума в данных, я хотел посмотреть как это сработает для очистки зашумлённых изображений.

Взял картинку http://sites.psu.edu/siowfa15/wp-content/uploads/sites/29639/2015/10/Fall-beautiful-nature-22666764-900-562.jpg, добавил к ней шум

Эту картинку можно представить матрицей. Высота матрицы равна высоте картинки, а ширина матрицы = ширина картинки x3 (так как 3 цветовых канала красный синий зелёный). 
А дальше обычными средствами R можно найти основные компоненты, оставить только самые главные, и уже из них попытаться восстановить оригинальное изображение. По идее информация о шуме будет храниться в менее важных компонентах, и отбросив их - отбросим и шум.

Вот что получилось - 

Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.

Файлы:
 

Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)


 
Dr. Trader:

Менее грубый фильтр. Значения фильтра можно менять в скрипте (SIZE_REDUCTION)


Замена одного шума на другой :D

Такими зернистыми изображениями, кстати, очень легко обманываются НС комп. зрения. Видел где-то статью как зашумленные дорожные знаки приводят НС которая распознает знаки в ступор :)

Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot

допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид

Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.

Но нужно проверять.

 
Dr. Trader:

Качество изображения хоть и пострадало, но зерна больше нету. И для каких-то алгоритмов для распознавания объектов вторая картинка вполне может оказаться более подходящей.

На мой взгляд, картинка показывает переоптимизацию - утрату данных для принятия верного решения.
 
Maxim Dmitrievsky:

Вы же хорошо владеете R, что вам мешает попробовать Recurrence plots https://en.wikipedia.org/wiki/Recurrence_plot

допустим, преобразовать графики в recurrence plots и уже этим картинкам обучать сверточную НС, затем после обучения подавать кусок графика в преобразованном виде, получать полученный образ (прогноз) а затем делать обратное преобразование в нормальный вид

Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.

Но нужно проверять.

Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.

Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.

 
Dr. Trader:

Recurrence plot не пробовал, но по описанию очень схоже с Arima, в этой моделе тоже ищутся рекуррентные зависимости.

Ещё можно нарисовать график автокорреляции функциями acf() и pacf(), будет чем-то похоже на Recurrence plot, только на графике будет вектор а не плоскость.


ну тут основное преимужество что все пространство заполнено рисунком всегда, а не как обычный график сверху вниз или снизу вверх там. Для машинного грения будет легче идентифицировать, а особенности рисуков будут говорить о тех или иных закономерностях конкретного паттерна
 
Maxim Dmitrievsky:

Интуитивно, recurrence plots будут распознаваться компьютерным зрением куда проще чем временные ряды, без потери значащих признаков.

Но нужно проверять.

Я пробовал и вроде даже писал об этом, рез тот же что и с ВР 



Тут проблема в том что рынок постоянно генерирует  разные ВР, те то что было в прошлом никогда не повториться в будущем  если смотреть на рынок через ВР или через какие либо преобразования  ВР а значит работа с такими признаками бесполезна для МО да и для человека тоже между прочим...

 
Dr. Trader:

К трейдингу это не относится, просто интересный эксперимент.

Спасибо!  Этим методом так же можно и звуки очищать от шумов, например старые или поврежденные записи, удаляя из них шумовые компоненты ... но это все задачи спектрального анализа те это все можно делать не только с РСА а и с фурье или вейвлетами
 
Dr. Trader: Метод основных компонент (PCA) можно применять для подавления шума в данных, я хотел посмотреть как это сработает для очистки зашумлённых изображений....

Если оставить за скобками существование большого количество фильтров для решения подобных задач,
в том же фотошопе и пр., то попробуй для кругозора и другие алгоритмы понижения размерности -
ICA, NMF, SVD и пр.
Но так как интересен автоподход с элементами DM, то можно юзануть например кластеризацию.
K-Means,EM-к, DBSCAN, t-SNE и пр.
1. Попытаться отловить шум.
2. Если мало мальски удастся - удаляем.
3. Заменяем пустоты ближайшим соседом и пр.
Потом подсовываем картинки с разными шумами и смотрим резы.
Если не получается - сажаем девочку с крандашами, пусть ретуширует)))