Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3398

 
mytarmailS #:

при чем тут LLM ?

Потому что они хорошо обобщают, в теории.

Чем больше обучающая выборка, тем лучше статистика (в общем случае).

 
Maxim Dmitrievsky #:
Потому что они хорошо обобщают, в теории.

они хорошо обобщают потому что обучены на милиардных датасетах слов, а у нас цены.

Чему ты собрался дообучать нейронку если она обучена говорить.

А свою на ценах ты не обучишь так как надо кучу видюх.


Так что либо я чего то не знаю либо опять - при чем тут LLM ?

 
mytarmailS #:

они хорошо обобщают потому что обучены на милиардных датасетах слов, а у нас цены.

Чему ты собрался дообучать нейронку если она обучена говорить.

А свою на ценах ты не обучишь так как надо кучу видюх.


Так что либо я чего то не знаю либо опять - при чем тут LLM ?

Воронцов же говорит в видосе, ты же смотрел. Про концепцию фундаментальных моделей, с часа начинается.

Вот спросил у своей


 
Maxim Dmitrievsky #:

Воронцов же говорит в видосе, ты же смотрел. Про концепцию фундаментальных моделей, с часа начинается.

Ааа, посмотрел вспомнил..

Так это как бы концепция, любую инфу можно свести к вектору , это он про ембединги говрит, ну да это так.

Но это просто концепция , а LLM обучена на ембенингах текста и не более того, вся ее структура под это обучена.

Кароч, если ты решиш ей подкинуть своих ембедингов с OHLC то ничего не будет ))


Те это надо сразу, с нуля обучать на разных ембедингах, разных задачах, разных целевых .. одновременно , чтобы она и текст писала и рисовала  и говорила итд...  мультимодальность кароч.

А ты хочешь взять нейру которая умеет в текст и дать ей OHLC ))  это не сработает

 
mytarmailS #:

Ааа, посмотрел вспомнил..

Так это как бы концепция, любую инфу можно свести к вектору , это он про ембединги говрит, ну да это так.

Но это просто концепция , а LLM обучена на ембенингах текста и не более того, вся ее структура под это обучена.

Кароч, если ты решиш ей подкинуть своих ембедингов с OHLC то ничего не будет ))

Может произойти knowledge distillation, когда модель перенесет свои общие "знания" на твою сферу. Слабо шарю, но примерно так.

она в цифры и в текст и в картинки и даже в звук некоторые умеют, и в программный код.
 
Maxim Dmitrievsky #:

Может произойти knowledge distillation, когда модель перенесет свои общие "знания" на твою сферу. Слабо шарю, но примерно так.

Да ничего не будет..

представь РСА обученый на каких то данных, это и есть кишки нейры по сути.

Ты добавишь незнакомых данных к нему, появиться просто как бы обособленый кластер точек с которыми нейра не встречалась и понятия не имеет что с ним делать.

Знаний она не перенесет так как этот кластер находиться в таких координатах в кторых она не работала никогда

 
mytarmailS #:

Да ничего не будет..

представь РСА обученый на каких то данных, это и есть кишки нейры по сути.

Ты добавишь незнакомых данных к нему, появиться просто как бы обособленый кластер точек с которыми нейра не встречалась и понятия не имеет что с ним делать.

Знаний она не перенесет так как этот кластер находиться в таких координатах в кторых она не работала никогда

Ну короче так сейчас все делают, дообучают их под свои задачи. Надо будет поискать примеры.

Ты апдейтнешь веса (связи) модели, а не добавишь новых точек.
 
Maxim Dmitrievsky #:

Ну короче так сейчас все делают, дообучают их под свои задачи. Надо будет поискать примеры.

Ты апдейтнешь веса (связи) модели, а не добавишь новых точек.

ты, не понял.  лан не буду мешать

 
mytarmailS #:

ты, не понял.  лан не буду мешать

Я понял, но это не так работает. Оно любую инфу кодирует в семантические вектора, не важно какой природы данные, это просто символы. Все эти символы она уже знает, важна их последовательность.

 
Да ты не мешаешь, это просто тема на "попробовать" в обозримом будущем :)