Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2476

Новый комментарий
 

Evgeniy Ilin #:

снизить потребность в вычислительных мощностях при грамотном подходе.

Возьмите какую нибудь библиотеку по численным методам и будет прирост в мощностях, возможно даже на gpu

 
Rorschach #:

Возьмите какую нибудь библиотеку по численным методам и будет прирост в мощностях, возможно даже на gpu

Идея не плохая, но насколько я знаю на видюху надо писать код очень странным образом, так как все немного иначе работает, готовая библиотека вряд ли подойдет, скорее всего придется писать самому. Кстати может быть и дойдут руки когда-нибудь.

 

в общем, как всегда всё дифференцирование сводится к МНК... а всё предсказание будущего к целевой функции, которую надо вывести по этому МНК... спасибо за картинки...

я пока спрос-предложение подумаю, как оценить (фактическая ликвидность для меня пока важнее, чем невыявленные мной закономерности, выявление которых я ещё не готова отдавать на откуп машине, ради статстической вероятности)...

но про ответственность разработчика - выбрать важные для него признаки - запомню ... а дальше по шаблону: нормировать входные, просчитать вероятности, наверно, кластеризовать (если оч. много данных), построить градиент, найти все впадины (по МНК) , нормализовать все впадины и свести в общую функцию... как и говорила "до посинения"... но машинными силами быстрее...

Evgeniy Ilin #:

В идеале прямая лучший вариант, но можно для оценки отклонений использовать семейство степенных функций как раз такого вида как я описал выше. Нужно только задать во сколько раз конечная производная может быть больше стартовой.

превращается ли семейство степенных функций в лог-нормальное распределение Или отражает ли оно его?.. извините, если вопрос глупый

вопрос снят, ответ - вероятно, нет

 

На самом деле я  почти ничего не понял. Давайте так:

1) Что такое целевая функция и зачем она вам нужна ?

2) Зачем вам логнормальное распределение и почему вы решили что оно вам вообще пригодится ?

3) Не совсем понимаю как "семейство" функций может превращаться в один прототип функции пусть даже логнормального распределения.

4) Логнормальное распределение чего ? Что выступает случайной величиной у вас в этом распределении ?

5 ) Что такое МНК ?

Попробуйте простым языком задать вопрос, и получите простой ответ ) извините если что ) 

 
Evgeniy Ilin #:

На самом деле я  почти ничего не понял. Давайте так:

1) Что такое целевая функция и зачем она вам нужна ?

2) Зачем вам логнормальное распределение и почему вы решили что оно вам вообще пригодится ?

3) Не совсем понимаю как "семейство" функций может превращаться в один прототип функции пусть даже логнормального распределения.

4) Логнормальное распределение чего ? Что выступает случайной величиной у вас в этом распределении ?

5 ) Что такое МНК ?

Попробуйте простым языком задать вопрос, и получите простой ответ ) извините если что ) 

1) output - функция для прогноза (в данном контексте, а не для уровней нейросети)

2) потому что есть ассиметрия (вносимая %rate*time и самими покупателями продавцами)

3)  ... ведь они однотипные - почему прототип должен быть разный?.. да и ладно, вижу, что степенное распределение - это показатель обратной зависимости

4) цена- случайная величина

5) метод наименьщих квадратов

вопрос был изначально (у меня в голове) "определить накапливающийся дисбаланс Дебита-Кредита" (тоже извините за выражение) в Range (и на отрезке времени) -- тут пока без обучения считать надо... но за напоминание про мат. моделирование спасибо - я не физ-мат, я эколог - у нас проще (без функций и мат.моделирования, но с распределениями, фактами и вероятностями; мы экосистему не предсказываем, хотя оценивать риски тоже не помешает, наверно, иногда;  теор.вер глубоко не копали) -просто интересно было, что с этими вероятностями потом сделать можно (с пользой)

 
Evgeniy Ilin #:

На самом деле я  почти ничего не понял. Давайте так:

1) Что такое целевая функция и зачем она вам нужна ?

2) Зачем вам логнормальное распределение и почему вы решили что оно вам вообще пригодится ?

3) Не совсем понимаю как "семейство" функций может превращаться в один прототип функции пусть даже логнормального распределения.

4) Логнормальное распределение чего ? Что выступает случайной величиной у вас в этом распределении ?

5 ) Что такое МНК ?

Попробуйте простым языком задать вопрос, и получите простой ответ ) извините если что ) 

1) целевая или фитнес функция это количественная ценка работы вашего алгоритма

если тренируешь регресию например то целевой функией будет функция/формула по которой ты считаешь ошибку для алгоритма , тоже самое и с генетическим алгоритмом или любым другим который что то минимизирует/максимизирует  те практически любой алгоритм МО 

https://ru.wikipedia.org/wiki/%D0%A6%D0%B5%D0%BB%D0%B5%D0%B2%D0%B0%D1%8F_%D1%84%D1%83%D0%BD%D0%BA%D1%86%D0%B8%D1%8F

5) метод найменьшых квадратов 

 
Есть ещё "target function", что тоже можно перевести как "целевая функция", хотя это функция преобразования признаков в выходы.
 
     -просто интересно было, что с этими вероятностями потом сделать можно (с пользой)

- поняла - оптимизировать любую ТС на любых индюках (обучив за любой период по выбору разработчика)... - получить условия для входа с min-ошибкой в своего индюка...

(хоть это и др. вероятности, чем те о которых я думала, как эколог, оценивая среду и условия)

 

Кому интересно, прикладываю скрипт для балансировки классов при решении задачи классификации.

Балансировка основана на ресемплинге исходной выборки при помощи модели гауссовых смесей. Советую юзать, так как в местных датасетах редко метки классов сбалансированны.

Сэкономит много времени и нервов.

import pandas as pd
from sklearn import mixture
import numpy as np

class GMM(object):
    def __init__(self, n_components):
        self.gmm = mixture.GaussianMixture(
                                            n_components=n_components,
                                            covariance_type='full', verbose=0,
                                            max_iter=1000,
                                            tol=1e-4,
                                            init_params='kmeans')
        self.name_col = []
        # print("GMM_model -- create")


    def fit_data(self, data):
        self.name_col =  data.columns
        self.gmm.fit(data)
        # print("GMM_model -- fit comlite")

    def get_samples(self, n_samp):
        generated = self.gmm.sample(n_samp)
        gen = pd.DataFrame(generated[0])
        for c in range(len(self.name_col)):
            gen.rename(columns={gen.columns[c]: self.name_col[c]}, inplace=True)

        return gen

def get_balance_dataset(X,Y, gmm=30,num_samples= 200, frac=1):
        '''
        X -             features
        Y -             targets [0,1]
        gmm -           number of mixture components
        num_samples -   number of samples for each class
        num_samples -   percentage of a random number of samples from the original sampling


        '''
    name_targ = Y.columns
    X_out = pd.DataFrame()
    Y_out = pd.DataFrame()
    for index,name in enumerate(name_targ):
        prt_data = pd.concat([X, Y[name]], axis=1)
        if frac!=1:
            prt_data = prt_data[prt_data[name] == 1].drop(columns=[name]).sample(frac=frac)
        else:
            prt_data = prt_data[prt_data[name] == 1].drop(columns=[name])

        gmm_1 = GMM(n_components=gmm)
        gmm_1.fit_data(prt_data)
        sig_X = gmm_1.get_samples(num_samples)
        sig_Y = np.zeros((num_samples, len(name_targ)))
        sig_Y[:, index] = 1
        sig_Y = pd.DataFrame(sig_Y, columns=name_targ)
        X_out = pd.concat([X_out, sig_X], axis=0)
        Y_out = pd.concat([Y_out, sig_Y], axis=0)

    return X_out.to_numpy(), Y_out.to_numpy()
 
iwelimorn #:

Кому интересно, прикладываю скрипт для балансировки классов при решении задачи классификации.

Балансировка основана на ресемплинге исходной выборки при помощи модели гауссовых смесей. Советую юзать, так как в местных датасетах редко метки классов сбалансированны.

Сэкономит много времени и нервов.

А разве нету стандартных библ. в питоне для этого? 

1...246924702471247224732474247524762477247824792480248124822483...3510
Новый комментарий
Причина обращения: