Machine learning in trading: theory, models, practice and algo-trading - page 3508

 
Aleksey Vyazmikin #:

The point is not to compare my method in the end (it is not perfect), but to show in experiments that with each iteration the probability of choosing an efficient split (which will be with the same bias vector on new data) decreases and this is, in fact, the reason for obtaining unstable models.

In doing so, I detailed the situation on an iteration-by-iteration basis for each predictor, and showed that there are ranges in which the predictor gives quantum splits with a high probability of stability on new data. It is different for all predictors - hence the conclusion about the importance of the sequence of predictor selection for the split.

The question is how one can influence the probability of selecting an efficient split (in my case double split - quantum cutoff). If one can increase the probability, then there will be fewer erroneous splits.

Terrible) In response to an attempt to normalise the use of one term, you just spill a bunch of new terms) Obviously, this algorithm will never converge to anything reasonable and publicly available).

 
Aleksey Nikolayev #:

Terrible) In response to an attempt to normalise the use of one term, you just spew out a handful of new terms) Obviously, this algorithm will never converge to anything sensible and universally accessible)

Who wants to understand, asks what he doesn't understand.

 
Aleksey Vyazmikin #:

Who wants to understand - asks what he doesn't understand.

How is your way different from clustering?
#it's different
 
Aleksey Vyazmikin #:

You seem to be alone in not understanding the algorithm.....

:)
Nu nu nu nu
 
Shall I put your definitions into chatgpt for you and ask for a transcript? Or you can do it yourself.
As of late, the arbitrator of the forum is considered to be chatgpt in some circles.
 
Aleksey Vyazmikin #:

Who wants to understand - asks what he doesn't understand.

Well, I asked you why you think your algorithm is not greedy (in the conventional sense) - I didn't see any answer.
 
Aleksey Nikolayev #:
Well, I asked you why you think your algorithm is not greedy (in the conventional sense) - I didn't see any answer.
You are not the first))
 
Aleksey Vyazmikin #:

Continuing my experiments, last past post was here.

Let me remind you briefly, the essence is to take a sample, split it into quantum segments, evaluate these segments for stability of the probability shift relative to the binary probability of all rows of the subsample. We select from the selected set of quantum segments the quantum segment that we consider to be the best candidate for selecting the region with negative class. We remove from the sample the range that fell into the quantum segment and repeat the iteration. In essence, this is very similar to building tree models, but here stump selection takes place. Gradually the sample decreases, the probability of a positive class grows, which should eventually lead to a positive balance on the sample outside of training (exam - I call it).

Earlier I have already published a graph with falling probability of choosing an effective quantum segment at a large number of iterations. Let me remind you how it looks on a concrete example for two classes.



The graph shows that with increasing iterations the probability of choosing the correct (with positive probability shift on new data) quantum segment (split by range) decreases.

I decided to look at how this probability manifests itself on a particular predictor - is there stability from iteration to iteration. At each iteration I counted the number of selected quantum splits and the number with positive probability bias on new data, and then determined the percentage of the latter. It turned out that there are cases when quantum segments from the predictor were not selected at the iteration - then the value of the index is zero, but if they were selected, but there are no correct (necessary/effective) ones among them, then the value gets -100.

The zoo turned out to be quite diverse, here are some samples.







It can be seen that the probability decreases in different ways, both smoothly and by jumps within individual predictors, why it is so different is not clear yet.

It also seems interesting that there are predictors that supply quantum segments that pass selection on the training sample, but on new data they are not effective at all - they will interfere well with training - we need additional methods to reduce the probability of hitting them.

It also seems interesting that predictors become a supplier of quantum segments (selected) not necessarily from the first iterations, which leads to the idea that it is important to follow the sequence of predictor use at different depths of the tree.

If you have any thoughts, please write. I am thinking about some aggregate metric for evaluation of the process, that it would be possible to twist the settings of selection of predictors and see their influence on the change of the result.

## Analysis of your experiment on quantised segments and their effectiveness


Your experiment on quantized segments and their effectiveness in building a model is fascinating. Here's my analysis of your findings:


**Key Observations:**


* The number of selected quantised segments for each target does not show a linear relationship with the iteration number.

* There seems to be a correlation between the number of targets and the number of selected segments in each iteration.

* The percentage of stable quantised segments for each target exhibits an inverse correlation.

* There is a significant drop in the chance of selecting a good quantised segment for target "0" around the 40th iteration, followed by a rebound to the initial probability.

* The probability of selecting an effective quantised segment decreases with the increasing number of iterations.

* There is a variation in the effectiveness of quantised segments across different predictors.


**Possible Explanations:**


* The inverse correlation between the number of targets and the percentage of stable quantised segments could be due to the fact that with more targets, the model has more opportunities to find good segments, leading to a higher chance of selecting less effective ones.

* The drop and rebound in the chance of selecting a good segment for target "0" could be related to the specific characteristics of the data or the model itself. Further investigation is needed to understand the exact reasons.

* The decrease in the effectiveness of quantised segments with increasing iterations might be due to the fact that the model becomes more selective over time, leading to the selection of less effective segments.


**Further Research Directions:**


* Investigate the reasons for the inverse correlation between the number of targets and the percentage of stable quantised segments.

* Analyse the specific characteristics of the data and the model that lead to the drop and rebound in the chance of selecting a good segment for target "0".

* Explore methods to mitigate the decrease in the effectiveness of quantised segments with increasing iterations.

* Develop a comprehensive metric for evaluating the process of selecting quantised segments, taking into account factors like stability, effectiveness, and diversity.


**Additional Considerations:**


* It would be interesting to compare the performance of your approach with other methods for selecting features or building models.

* Exploring different strategies for selecting and using quantised segments might lead to further improvements in the model's effectiveness.


Overall, your experiment provides valuable insights into the dynamics of selecting and using quantised segments for building a model. Further investigation and optimisation could lead to significant improvements in the model's performance.


 

Scored your last few posts on chatgpt4:

И снова, старая песня о главном. Продолжил тестировать метод квантования через ZZ, воспользовался уже отработанной схемой:

1. Разложение предикторов на квантовые отрезки по выборке train.

2. Оценка каждого квантового отрезка на выборке train для отбора в пул.

3. Удаление/фильтрация части выборки, описывающейся квантовым отрезком со смещением целевой "0" по заданному критерию. В этот раз смотрел, есть ли эффект от квантового отрезка на выборке test для подтверждения.

Сделал 100 итераций.

Такой результат для выборок train, test, exam. Показатель - вероятность появление целевой единицы (процент единиц в выборке).

Стало интересно, а вообще какие шансы у модели выбрать правильные квантовые отрезки, что бы показывали они устойчивый результат на трёх выборках.

Квантовые отрезки отбираются для каждой целевой отдельно, хотя мой нехитрый алгоритм и использовал только негативную целевую "0" для построения модели, но статистика по целевой "1" так же есть - красная кривая на графике. На графике ниже показано количество отобранных квантовых отрезков для двух целевых на каждой итерации.

Форма графика говорит об отсутствии линейной зависимости от номера итерации, но похоже есть корреляция между числом целевых накаждой итерации. Если график для целевой "1" находится в условном диапазоне, то вот для целевой "0" видим какой то взрывной рост на 2/3 графика с дальнейшей наметившейся динамикой на снижение.

Ниже представлен график, показывающий процент содержания устойчивых квантовых отрезков для каждой из целевой.

Похоже на обратную корреляцию - не ясна причина. Так же обращает внимание на себя сильное падение шансов выбрать хороший квантовый отрезок для целевой "0" до примерно 40 итерации - на донышке шанс в пределах 5%, что очень мало, на 2/3 происходит возврат к изначальной вероятности. Такой разброс удивляет, как и выраженная динамика на протяжении многих итераций.

Продолжаю эксперименты, последнее прошлое сообщение было тут.

Напомню вкратце, суть берём выборку, разбиваем на квантовые отрезки, оцениваем эти отрезки на предмет устойчивости смещения вероятности относительно бинарной вероятности всех строк подвыборки. Отбираем из отобранного набора квантовых отрезков тот квантовый отрезок, который считаем наиболее хорошим кандидатом для выделения области с негативным классом. Убираем из выборки диапазон, попавший в квантовый отрезок и повторяем итерацию. По сути это очень похоже на построение древовидных моделей, но тут выделение пеньков происходит. Постепенно выборка уменьшается, вероятность позитивного класса растёт, что в итоге должно приводить к положительному балансу на выборке вне обучения (exam - она у меня именуется).

Ранее я публиковал уже график с падением вероятности выбрать эффективный квантовый отрезок при большом числе итераций. Напомню, как он выглядит на конкретном примере для двух классов.

На графике видно, что с увеличением итераций уменьшается вероятность выбора правильного (с положительным смещением вероятности на новых данных) квантового отрезка (сплита по диапазону).

Решил взглянуть, а как эта вероятность проявляется на конкретном предикторе - есть ли там устойчивость от итерации к итерации. На каждой итерации я посчитал число отобранных квантовых отрезков и число с положительным смещением вероятности на новых данных, а потом определил процент последних. Оказалось, что бывают случаи, когда на итерации квантовые отрезки от предиктора небыли отобраны - тогда значение показателя равно нулю, а вот если были отобраны, но среди них нет правильных (нужных\эффективных), то значение получает -100.

Зоопарк получился весьма разнообразным, вот некоторые образцы.

Видно, что вероятность уменьшается по разному и плавно и скачками внутри отдельных предикторов, почему так по разному - не ясно пока до конца.

Ещё интересным кажется, что есть предикторы, которые поставляют квантовые отрезки, проходящие отбор на выборке train, но на новых данных совершенно не эффективные - вот они хорошо будут мешать обучению - нужны дополнительные методы для уменьшения вероятности их попадания.

Интересным кажется и то, что предикторы становятся поставщиком квантовых отрезков (отбираемых) не обязательно с первых итераций, что приводит к мысли о важности соблюдения последовательности использования предикторов на разной глубине дерева.

Если есть какие соображения - пишите. Думаю о какой то совокупной метрики для оценки процесса, что бы можно было покрутить настройки отбора предикторов и посмотреть их влияние на изменение результата.

сравни мой подход с иерархической кластеризацией!
Ваш подход к квантованию через ZZ и последующему анализу квантовых отрезков представляет собой интересный и инновационный метод анализа данных, особенно в контексте выбора и оценки предикторов. Этот метод имеет некоторые сходства, но и значительные отличия от иерархической кластеризации. Давайте рассмотрим основные аспекты обоих подходов для сравнения:

###  Квантование через ZZ:

1. **Цель**: Выделение и оценка квантовых отрезков предикторов для определения их влияния на целевую переменную.
2. **Метод**: Разбиение предикторов на квантовые отрезки, оценка их влияния на обучающей выборке, и последующая фильтрация выборки на основе этих отрезков.
3. **Применение**: Особенно полезен для выявления устойчивых отношений между предикторами и целевой переменной, а также для уменьшения размерности данных путем исключения менее значимых предикторов.
4. **Особенности**: Возможность анализа динамики изменения вероятности выбора эффективных квантовых отрезков в зависимости от итераций.

###  Иерархическая кластеризация:

1. **Цель**: Группировка объектов на основе их сходства, формирование иерархии кластеров от наиболее похожих объектов к группам, содержащим эти объекты.
2. **Метод**: Рекурсивное объединение или разделение объектов или кластеров на основе меры их сходства или расстояния.
3. **Применение**: Широко используется для анализа данных, где необходимо выявить структуру в данных или группы похожих объектов без предварительного знания количества кластеров.
4. **Особенности**: Визуализация в виде дендрограммы, позволяющей оценить как объединение кластеров, так и расстояние между ними.

###  Сравнение:

- **Цели и применение**: Ваш метод фокусируется на анализе влияния предикторов на целевую переменную, в то время как иерархическая кластеризация направлена на выявление структуры в данных через группировку похожих объектов.
- **Методология**: Квантование через ZZ работает с предикторами и их влиянием на целевую переменную, тогда как иерархическая кластеризация основана на мерах сходства между объектами или кластерами.
- **Результаты и интерпретация**: Ваш подход позволяет прямо анализировать и оптимизировать влияние предикторов, в то время как иерархическая кластеризация предоставляет общую структуру данных и группы похожих объектов.

Ваш метод кажется более целенаправленным на определенные задачи прогнозирования и анализа влияния, в то время как иерархическая кластеризация предлагает более общий инструмент для исследования структуры данных. Оба подхода могут быть полезны в разных контекстах и для разных целей анализа данных.
 

Continuation:

If you remove the target variables from your method, it can become similar to hierarchical clustering in the sense that both approaches can be used to cluster data without regard to pre-known class labels. Hierarchical clustering is a data analysis method that seeks to build a hierarchy of clusters. The main difference between hierarchical clustering and other types of clustering is that it does not require the number of clusters to be specified in advance. Instead, the result is a dendrogram that allows us to understand the relationships between individual objects and groups.


However, it is important to realise that simply removing target variables does not automatically transform any method into hierarchical clustering. Hierarchical clustering has its own unique algorithmic features, such as agglomerative (pooling) or divisive (splitting) approaches to cluster formation. For your method to be consistent with hierarchical clustering, it must include mechanisms to consistently merge or divide data into clusters based on a measure of similarity or distance between data.

If your method includes such mechanisms and does not use predefined labels to group the data, then it may be similar to hierarchical clustering in nature. However, for a more precise answer, you need to know the details of your method.