Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2024

 
Maxim Dmitrievsky:

Сейчас хороших спецов вообще мало. До того дошло, что чтобы устроиться в СИБУР на неплохую зп (в том числе в айти) - нужно просто пройти тест на iq :D

Хорошие спецы, набравшись опыта, сами заводят ИП или ООО и получают 100% от стоимости заказов, а не 10-20% работая на "дядю".
Вот и еще вариант появился - стать гранто-едом))
 
elibrarius:

Если у кого-то есть идеи на проекты ИИ или другие цифровые проекты, которые могут быть реально востребованы и имеются педполагаемые заказчики/рынки сбыта, то можно получить грант для стартапов до 3млн. рублей с возможностью платить сотрудникам до 100 т.р. в месяц.
В результате должен быть зарегистрирован объект интелектуальной собственности (программа, изобретение и т.п.)
https://ит-гранты.рф/

Только на отчетность, согласования, оценки, бизнес план  и т.п. бумаги придется извести пачку, а то и не одну)

Приоритетные направления:
https://ит-гранты.рф/pnp

Все, что связано с трейдингом нахрен никому не надо, тема уже прошла свой взлет и умирает, даже если это нейросети. К сожалению.
 
Maxim Dmitrievsky:

Смотри как я вижу проблему... 

Данные я вижу как "Срезы" наблюдений , и далеко не всегда одинаковой длинны.

Внутри в  этих "срезах"  номера кластеров , номер кластера можно трактовать как состояние, а лучше некое событие..

Событие само по себе ничего не значит , важно правильная последовательность событий + НАДО помнить что 99% событий мусор нагенерированый от нашей отсебятины 


Итак допустим есть у рынка выигрышная  последовательность событий (в куче мусора)  в виде "1"  -  "2"  -  "3" -   "YES" . 

Это то что я понимаю под "свареным кофе"

 "1"  - залить воду  , "2" - подогреть "3" ... ипт..  Очевидно что последовательность должна соблюдаться


Данные у меня  выглядят вот так , только строки у меня будут намного длиннее

картинка


Так вот , я сейчас работаю над алгоритмом который будет искать такие скрытые в шуме последовательности...


Такие вопросы к тебе

А может ли RNN находить такое в шуме?

а может ли  RNN принимать на вход вектора разной длинны ?

Мне кажется что шума слишком много для сетей тут, даже самых крутых типа ltsm,gru , так как они для работы с текстами , а там шуму то нету вообще..

Может я велосипед изобретаю?

 
mytarmailS:

Смотри как я вижу проблему... 

Данные я вижу как "Срезы" наблюдений , и далеко не всегда одинаковой длинны.

Внутри в  этих "срезах"  номера кластеров , номер кластера можно трактовать как состояние, а лучше некое событие..

Событие само по себе ничего не значит , важно правильная последовательность событий + НАДО помнить что 99% событий мусор нагенерированый от нашей отсебятины 


Итак допустим есть у рынка выигрышная  последовательность событий (в куче мусора)  в виде "1"  -  "2"  -  "3" -   "YES" . 

Это то что я понимаю под "свареным кофе"

 "1"  - залить воду  , "2" - подогреть "3" ... ипт..  Очевидно что последовательность должна соблюдаться


Данные у меня  выглядят вот так , только строки у меня будут намного длиннее


(не могу вставить пока картинку какого то х...я)

картинки не работают, тоже не получилось

да, типа того. Последовательность условных событий, для нее нужна память. Но кол-во событий уменьшаем кластеризацией до нескольких чередующихся

получается типа булевой ф-ции 000011010110011 где 0 и 1 чередующиеся события. Где на входе имеется ряд из n-событий, предсказываем слудующее. Но для этого нужна рекуррентная сетка, не классика. Можно сделать больше кластеров, чем 2
 
Maxim Dmitrievsky:

картинки не работают, тоже не получилось

просто нажми на картинку, там внизу еще дописал пару слов

Maxim Dmitrievsky:

 Но кол-во событий уменьшаем кластеризацией до нескольких чередующихся

Уже все уменьшено, это уже кластера, могут быть кластера от кластеров, что угодно..
 
mytarmailS:

Такие вопросы к тебе

А может ли RNN находить такое в шуме?

а может ли  RNN принимать на вход вектора разной длинны ?

Мне кажется что шума слишком много для сетей тут, даже самых крутых типа ltsm,gru , так как они для работы с текстами , а там шуму то нету вообще..

Может я велосипед изобретаю?

шум надо убрать через слой кластеризации

может принимать вектора разной длины (не делал, но знаю что можно), но если через класт. то вопрос отпадает

 
Maxim Dmitrievsky:

шум надо убрать через слой кластеризации

шум , это бестолковые кластера

1  22 44 55 42  2 54 65 23 75 3 53 76 43 "YES"

Но то что они лишние и бестолковые , ты узнаешь только после обучения, а пока они мешают обучаться, хоть как

 
mytarmailS:

шум , это бестолковые кластера

1  22 44 55 42  2 54 65 23 75 3 53 76 43 "YES"

не надо бестолковые кластера

 
Maxim Dmitrievsky:

не надо бестолковые кластера

Так а откуда ты знаешь бестолковый он или нет? )))

 
mytarmailS:

Так а откуда ты знаешь бестолковый он или нет? )))

у тебя, условно, их всего 2 в 2-мерной кривой - рост или падение. Но ты имеешь много их комбинаций, чередований. Это самое важное для модели.

потому что не надо столько шума, оверфитнется на него

рекуррентка плохо обучается, когда много паттернов. Ей важнее чередование небольшого кол-ва паттернов, последовательности. А не их кол-во. Усек?

Причина обращения: