Как правильно сформировать входные значения для НС. - страница 13

 

Народ, прошу прощения за "вклинивание".

Никто не работал в данном направлении?

Кажется заманчивой идея "выуживания" полезной информации без априорных знаний о ней. Интересно, как это реально можно использовать в нашем деле?

 
Neutron писал (а) >>

Народ, прошу прощения за "вклинивание".

Никто не работал в данном направлении?

Кажется заманчивой идея "выуживания" полезной информации без априорных знаний о ней. Интересно, как это реально можно использовать в нашем деле?

обратная связь вроде это

 
Похоже на корелляцию. Т.е. искомая функция - функция корелляции со входа на выход или наоборот.
 

Взаимная информация предлагается в качестве целевой функции. То есть это вариант обучения без учителя.

А вот что будет в итоге? Некий скользящий вектор, т.е. многомерный мувинг?

 
YuraZ писал (а) >>

обратная связь вроде это


Да нет, больше похоже на PCA.

 
lna01 писал (а) >>
Нет, взаимная информация предлагается в качестве целевой функции. То есть это вариант обучения без учителя.

Почему - нет? Если корелляция - целевая функция стремится при обучении к единице. В принципе не вижу больших отличий от обычной оптимизации.

 
sergeev писал (а) >>

2 YuraZ. Народ подтягивается.Это радует.

Ваш эксперт из указанной ветке был моим первым знакомством. Большое вам спасибо за его код. Приворжу здесь его чуток поправленный и украшенный вариант. Для новичка самое то.


в своем варианте я жестко сравнивал выход после обучения с реальным выходом на тестовом патерне, Вы толкько ошибку

Ваш вариант пробую - так и не удалось еще ни разу обучить!

в моем варианте обучение проходило быстрее

 
Neutron писал (а) >>

Кажется заманчивой идея "выуживания" полезной информации без априорных знаний о ней. Интересно, как это реально можно использовать в нашем деле?

А про функцию I(X, Y) что известно?



ИМХО, PCA (principal component analysis) или МГК(метод главных компонент) и рециркуляционные сети -- то что Вам нужно.
 
FION писал (а) >>

Почему - нет? Если корелляция - целевая функция стремится при обучении к единице. В принципе не вижу больших отличий от обычной оптимизации.

"Нет" относились к обратной связи :). Что касается корреляции как целевой функции, то она и правда выглядит родственной взаимной информации. Но раз формулы разные, разной может быть и траектория обучения. Для мало-мальски сложной системы на попадание в глобальный экстремум рассчитывать вообще говоря трудно. А достигнутый в итоге локальный экстремум для разных траекторий обучения может оказаться разным.

 
Neutron писал (а) >>

Народ, прошу прощения за "вклинивание".

Никто не работал в данном направлении?

Кажется заманчивой идея "выуживания" полезной информации без априорных знаний о ней. Интересно, как это реально можно использовать в нашем деле?

Можно узнать от куда эта выдержка? Я как-то пробовал делать выделение полезного сигнала с шума, но так работа и осталась не оконченной.