Negociação quantitativa - página 6

[MetaQuotes]

Ernest Chan (Predictnow.ai) - "Como usar o aprendizado de máquina para otimização"

Ernest Chan (Predictnow.ai) - "Como usar o aprendizado de máquina para otimização"

Ernest Chan, cofundador da Predictnow.ai, investiga os desafios enfrentados pelos métodos tradicionais de otimização de portfólio ao lidar com mudanças de regime nos mercados. Ele sugere que o aprendizado de máquina pode fornecer uma solução para esse problema. Chan explica como sua equipe aplica técnicas de aprendizado de máquina à otimização de portfólio, com foco na incorporação de recursos de séries temporais que medem vários aspectos financeiros, como volatilidade, preços e taxas de juros. Ao combinar o modelo Farmer-French Three Factor com o entendimento de que a classificação é mais crucial do que a previsão, eles visam alcançar a otimização ideal do portfólio.

Chan passa a compartilhar resultados concretos do desempenho do modelo CBO e fornece exemplos de clientes que experimentaram melhorias no desempenho de seu portfólio usando essa abordagem. Ele enfatiza que os modelos de aprendizado de máquina têm a capacidade de se adaptar às mudanças de regime, permitindo que respondam efetivamente às condições de mercado em evolução. Além disso, ele discute como os retornos do índice S&P 500 e seus componentes podem ser calculados usando um algoritmo de aprendizado de máquina que utiliza recursos de séries temporais.

Além disso, Chan destaca a abordagem de conjunto empregada por sua equipe para otimização e especulação. Ele menciona seu "molho secreto" que elimina a necessidade de amplo poder computacional. Em vez de seguir um processo de duas etapas para prever regimes e condicionar sua distribuição de retornos, eles utilizam fatores visuais para prever diretamente o desempenho do portfólio. Além disso, Chan esclarece que, ao incluir uma parte significativa da amostra de treinamento em seu algoritmo, o retorno esperado se alinha com os resultados anteriores.

O Dr. Ernest Chan explica os desafios enfrentados pelos métodos tradicionais de otimização de portfólio na presença de mudanças de regime e enfatiza o papel do aprendizado de máquina na resolução desse problema. Ele discute a aplicação de técnicas de aprendizado de máquina, a importância dos recursos de séries temporais e a importância da classificação na obtenção da otimização ideal do portfólio. Ele compartilha resultados específicos e histórias de sucesso de clientes, destacando a adaptabilidade dos modelos de aprendizado de máquina às mudanças nas condições do mercado. Chan também fornece informações sobre o cálculo de retornos usando algoritmos de aprendizado de máquina e esclarece sua abordagem de conjunto e metodologia exclusiva.

• 00:00:00 Nesta seção, Ernest Chan discute os métodos tradicionais de otimização de carteiras e o desafio das mudanças de regime no mercado, o que significa que uma carteira que foi ótima no passado pode não ser ótima no futuro. Ele explica que a maioria dos métodos usa retornos ou informações históricas passadas como entrada e não leva em consideração as mudanças de regime. Ele sugere que o aprendizado de máquina pode ajudar a lidar com esse problema, fazendo uso de big data e todas as variáveis observadas em diferentes mercados. O aprendizado de máquina pode gerar retornos esperados que não são baseados apenas em retornos históricos e, portanto, podem ser mais adequados para lidar com mudanças de regime.
  
  
• 00:05:00 Nesta seção, Ernest Chan discute o conceito de regime em finanças e como ele afeta a otimização. Ele explica que, embora existam alguns regimes viáveis, como mercados de baixa ou alta, também existem regimes ocultos que não podem ser definidos explicitamente e estão em constante mudança. Esses regimes são difíceis de prever e arruínam os métodos clássicos de otimização. Esse entendimento levou o Dr. Chan a desenvolver a técnica de otimização de carteira condicional, que pode medir e se adaptar ao regime atual usando um grande número de variáveis. Essa técnica pode melhorar o desempenho da estratégia de negociação sob condições de mercado variadas.
  
  
• 00:10:00 Nesta seção, Ernest Chan discute o uso de aprendizado de máquina para otimização e como adaptar parâmetros usando aprendizado supervisionado. Ele explica que, no aprendizado supervisionado, existe uma variável-alvo rotulada, como o parâmetro a ser otimizado, que é a taxa acentuada ou o retorno futuro de um mês de uma estratégia de negociação. A entrada é uma combinação de variáveis de mercado e macroeconômicas que medem o regime atual e as variáveis de controle que o trader pode ajustar, formando um grande conjunto de dados. Para otimizar, uma busca exaustiva de várias combinações dos parâmetros é realizada para encontrar a taxa de acentuação máxima, que é a otimização do parâmetro condicional. Ernest Chan conclui com um exemplo simples usando uma estratégia de brinquedo que ilustra a combinação de recursos de mercado e recursos de controle para formar uma linha para entrada.
  
  
• 00:15:00 Nesta seção, Ernest Chan explica como sua equipe aplica o aprendizado de máquina à otimização de portfólio. A equipe usa a mesma abordagem de aprendizado de máquina aplicada à otimização de parâmetros para resolver esse problema mais extenso. Eles usam big data como recursos de entrada e previsão implícita de regimes ocultos. Ao contrário dos métodos clássicos de otimização de portfólio que dependem apenas de retornos passados e covariância de retornos como dados de entrada, seu método considera a condição atual do mercado, indicadores técnicos e fundamentais e indicadores macroeconômicos para se adaptar ao regime e encontrar o portfólio ideal sob o atual condição de mercado. A equipe responde às perguntas do Q&A, explicando que eles não usam simulação, mas dados de mercado reais para calcular retornos, dada uma determinada alocação hipotética de capital.
  
  
• 00:20:00 Nesta seção, Ernest Chan explica o tipo de recursos usados na otimização de portfólio por meio do aprendizado de máquina. Ele enfatiza que apenas recursos de séries temporais são usados e nenhum recurso de seção transversal está envolvido. Esse método enfoca as características da carteira ou regime de mercado como um todo, como fatores que medem finanças, volatilidade, preços e taxas de juros. Embora isso possa parecer estranho, Chan o relaciona com a qualidade explicativa do modelo de três fatores do fazendeiro-francês. Usando modelos de aprendizado de máquina, o objetivo não é prever retornos, mas classificá-los com precisão para alcançar a otimização ideal do portfólio.
  
  
• 00:25:00 Nesta seção, Ernest Chan discute a importância da classificação em aplicações financeiras e como ela pode ser aplicada à otimização de portfólio. Ele explica que os métodos tradicionais de uso de modelos de aprendizado de máquina para prever retornos transversais podem resultar em uma situação de entrada e saída de lixo se as previsões de retorno não forem precisas em magnitude e sinal. No entanto, com o método CPO, que combina o modelo Fama-French Factor e a noção de que o ranking é mais importante do que a previsão, a solução ótima é muito mais estável contra erros em qualquer etapa do programa. Ele também observa que esse método pode tolerar erros tremendos na previsão de aprendizado de máquina por causa da classificação.
  
  
• 00:30:00 Nesta seção, Ernest Chan discute como o efeito das finanças comportamentais pode ser medido usando métricas de mercado familiares, como o Delta líquido das atividades de compra de opções. Ele explica que sua empresa usa essa métrica como um dos recursos do modelo CBO, que leva em consideração o efeito do fenômeno, e não a causa central do fenômeno. Chan então compartilha resultados concretos do desempenho do modelo CBO, inclusive superando o método de média-variância e superando os ativos tradicionais. Além disso, ele fornece um exemplo de como o método CBO teve melhor desempenho na alocação de pesos para ações de crescimento e ações de grande capitalização durante determinados períodos de tempo em comparação com outros métodos.
  
  
• 00:35:00 Nesta seção, o palestrante explica como os métodos clássicos de investimento e negociação são fixos e não adaptativos, ao contrário do método CBO (Combinatorial Bayesian Optimization) que supera os métodos clássicos porque pode se adaptar ao regime de mercado, resultando em melhor performance. O CBO é projetado para otimizar e recomendar transações, mesmo que a carteira existente já tenha custos de transação associados a ela. O CBO não incorre em custos de transação adicionais e apenas recomenda a compra de mais ou menos ações específicas. Em seguida, o palestrante cita exemplos de clientes que adotaram o método CBO e observaram uma melhora no desempenho de sua carteira.
  
  
• 00:40:00 Nesta seção, Ernest fala sobre um estudo de caso em que eles conseguiram obter retornos positivos em uma carteira de ações, apesar das restrições de zero a 25 por cento em cada ação. A carteira consistia em ações de tecnologia e esperava-se que caísse muito em 2022, mas seu método de alocar 50% em dinheiro durante esse período ajudou a gerar retornos. Quando questionado sobre a reprodutibilidade de seus métodos, Ernest explica que, embora alguns recursos, como delta líquido de opções, sejam recursos de entrada importantes, eles divulgaram uma descrição de alto nível deles em seu site. Ele também menciona o uso de árvores de decisão de processo de gradiente e outros algoritmos para aprendizado de máquina, e sua abordagem para definir o regime de mercado é por meio da representação usando centenas de recursos.
  
  
• 00:45:00 Nesta seção, Chan explica como o aprendizado de máquina pode ser usado para otimização construindo uma variável de resposta, como uma proporção de Sharpe, e ajustando uma função F para diferentes cenários da variável de controle para cada estado do mercado. O rótulo do algoritmo de aprendizado supervisionado é a variável a ser maximizada, como o índice de Sharpe, e cada proposta de portfólio é alimentada na fórmula preditiva até que o portfólio de melhor desempenho seja encontrado. Chan observa que a complexidade do problema não aumenta linearmente com o número de ativos no portfólio, mas sua equipe desenvolveu um algoritmo para gerenciar o problema. O maior universo de portfólio que eles usaram é o S&P 500.
  
  
• 00:50:00 Nesta seção, Ernest Chan fornece um exemplo de como o modelo de aprendizado de máquina responde a mudanças de regime usando a alocação de caixa como um indicador. Quando o mercado baixista começou em 2022, o modelo ficou em caixa na maior parte do tempo, salvando a carteira de retornos negativos. Ele também menciona que a função objetivo pode ser definida para qualquer coisa, não apenas a taxa ou retorno máximo tradicional, devido à natureza não linear do algoritmo de aprendizado e do algoritmo de otimização, e que restrições como pesos, ESG e volume de negócios podem ser aplicado. O software é flexível e pode acomodar quaisquer recursos de mercado que o cliente forneça. Além disso, Chan menciona que o modelo pode lidar com ações com históricos curtos, pois permite a adição e exclusão de componentes no portfólio, e o modelo pode ser treinado novamente a cada rebalanceamento.
  
  
• 00:55:00 Nesta seção, Chan discute o cálculo dos retornos do índice S&P 500 e seus componentes. Ele explica que usar um algoritmo de aprendizado de máquina para calcular os retornos do portfólio é diferente de usar a técnica de Markowitz porque o algoritmo de aprendizado de máquina usa recursos de séries temporais em vez de retornos de ações como entrada. Chan também observa que a mudança de regime é definida por 180 variáveis, e medições diárias, mensais e trimestrais são usadas como recursos que alimentam um algoritmo de aprendizado de máquina, que seleciona os recursos mais bem classificados, úteis para prever o futuro do portfólio. Finalmente, Chan reformula o problema como um problema de classificação em vez de um problema de regressão, e também pode ser reformulado como um problema de classificação.
  
  
• 01:00:00 Nesta seção, o palestrante discute a possibilidade de usar um conjunto de portfólios em vez de apenas um portfólio ideal, mas a equipe de pesquisa precisa investigar mais a fundo. Eles também confirmam que, se houver um milhão de combinações de portfólios, o modelo precisaria ser treinado em um milhão de combinações por dia de dados históricos. No entanto, eles mencionam seu "molho secreto" que elimina a necessidade de tal poder computacional. O palestrante também explica que eles não usam um processo de duas etapas para prever regimes e, em seguida, condicionar a distribuição de retornos desse regime, mas, em vez disso, usam o fator visual para prever diretamente o desempenho de um portfólio. Eles encerram a discussão dizendo que o retorno esperado seria semelhante ao que acontecia no passado se incluíssem muito daquela amostra de treinamento em seu modelo.

[MetaQuotes]

Aprendizado de Máquina Financeira - A Perspectiva de um Profissional por Dr. Ernest Chan

Aprendizado de Máquina Financeira - A Perspectiva de um Profissional por Dr. Ernest Chan

Neste vídeo informativo, o Dr. Ernest Chan investiga o domínio do aprendizado de máquina financeiro, explorando vários aspectos importantes e esclarecendo considerações importantes. Ele enfatiza a importância de evitar o overfitting e defende a transparência nos modelos. Além disso, o Dr. Chan destaca os benefícios da utilização de modelos não lineares para prever o comportamento do mercado. No entanto, ele também discute as limitações do aprendizado de máquina no mercado financeiro, como a reflexividade e a dinâmica do mercado em constante mudança.

Um ponto crucial enfatizado pelo Dr. Chan é a importância da especialização no domínio da ciência de dados financeiros. Ele ressalta a necessidade de seleção de recursos para obter uma melhor compreensão das variáveis essenciais que influenciam as conclusões de um modelo. Ao identificar essas informações importantes, investidores e traders podem obter informações sobre suas perdas e entender por que certas decisões foram tomadas.

O Dr. Chan também aborda a aplicação do aprendizado de máquina no gerenciamento de riscos e na alocação de capital. Ele sugere encontrar um nicho de mercado e evitar a concorrência direta com organizações bem financiadas. Ao fazer isso, os profissionais podem aumentar suas chances de sucesso nessas áreas.

Ao longo do vídeo, o Dr. Chan destaca as vantagens e os desafios associados a diferentes modelos e estratégias. Ele observa que, embora as estratégias quantitativas tradicionais, como modelos lineares, sejam fáceis de entender e menos propensas a sobreajuste, elas lutam com a dependência não linear entre os preditores. Por outro lado, os modelos de aprendizado de máquina são excelentes para lidar com relacionamentos não lineares, mas sua complexidade e opacidade podem representar desafios na interpretação de seus resultados e na avaliação da significância estatística.

O Dr. Chan também discute as limitações do uso do aprendizado de máquina para prever o mercado financeiro. Ele enfatiza que o mercado está em constante evolução, tornando difícil prever com precisão. No entanto, ele sugere que o aprendizado de máquina pode ser bem-sucedido na previsão de informações privadas, como estratégias de negociação, em que competir com parâmetros idênticos é menos provável.

Além disso, o Dr. Chan aborda a incorporação de dados fundamentais, incluindo dados categóricos, em modelos de aprendizado de máquina. Ele aponta que os modelos de aprendizado de máquina têm uma vantagem sobre os modelos de regressão linear ao lidar com dados categóricos e de valor real. No entanto, ele adverte contra confiar apenas no aprendizado de máquina, enfatizando que o conhecimento profundo do domínio ainda é crucial para criar recursos eficazes e interpretar dados com precisão.

No domínio da alocação de capital, o Dr. Chan destaca como o aprendizado de máquina pode fornecer retornos esperados mais sofisticados, desafiando o uso do desempenho passado como um único indicador de sucesso futuro. Ele também discute as nuances da compreensão do mercado que o aprendizado de máquina pode oferecer, com probabilidades variando diariamente, ao contrário das distribuições de probabilidade estáticas das estatísticas clássicas.

O Dr. Chan conclui abordando as limitações do aprendizado profundo na criação de diversos recursos transversais que exigem conhecimento de domínio. Ele compartilha seus pensamentos sobre a aplicabilidade do aprendizado por reforço em modelos financeiros, observando sua eficácia potencial em altas frequências, mas limitações em escalas de tempo mais longas.

Para os interessados em explorar ainda mais o aprendizado de máquina financeiro, o Dr. Chan recomenda sua empresa PredictNow.ai como um recurso valioso para conhecimento de aprendizado de máquina financeiro sem código.

• 00:00:00 o fato de que eles estão se tornando mais amplamente utilizados. Nesta seção do vídeo, o Dr. Ernest Chan discute sua longa história em aprendizado de máquina e como ele encontrou valor em aplicá-lo a finanças, o que ele admite ter sido difícil de fazer até recentemente. Ele defende modelos e estratégias simples, como modelos lineares e de fator único, que funcionaram bem para traders quantitativos por décadas. Com o aumento do comércio quantitativo, esses modelos estão se tornando menos lucrativos, e Chan explica como ele conseguiu extrair valor do aprendizado de máquina de uma forma que a maioria das pessoas não está fazendo.
  
  
• 00:05:00 Nesta seção, o Dr. Ernest Chan discute a questão histórica do overfitting no aprendizado de máquina financeiro; quando os modelos precisam ajustar vários parâmetros, o risco de overfitting é muito alto, especialmente ao trabalhar com dados financeiros de baixa frequência, como séries temporais financeiras diárias. No entanto, ao longo dos anos, os avanços no aprendizado de máquina, principalmente no aprendizado profundo, permitiram superar o overfitting. Técnicas como floresta aleatória, validação cruzada, abandono e outras ajudaram a reduzir o overfitting, e outras ferramentas, como algoritmos, tornaram o aprendizado de máquina transparente. O problema com a negociação de caixa preta e a falta de transparência é que não ser capaz de explicar por que você fez certas negociações não é aceitável, mesmo que você ganhe dinheiro.
  
  
• 00:10:00 Nesta seção, o Dr. Ernest Chan discute o conceito de seleção de recursos em aprendizado de máquina, que pode ajudar traders e investidores a entender melhor as variáveis importantes que levam à conclusão de um determinado modelo de aprendizado de máquina. A seleção de recursos pode ajudar os investidores a obter informações sobre por que eles perderam dinheiro ou por que um modelo tomou uma decisão errada, identificando as entradas importantes que levam a esse resultado. O Dr. Chan também destaca que o aprendizado de máquina pode ser usado de forma mais eficaz para gerenciamento de risco e alocação de capital do que como um gerador de sinal primário, pois as previsões de mercado estão sujeitas à reflexividade, o que cria dificuldades na detecção de padrões no passado.
  
  
• 00:15:00 Nesta seção, o Dr. Ernest Chan discute as limitações do uso de aprendizado de máquina para prever o mercado financeiro, que está em constante evolução e não pode ser comparado à previsão de doenças como o câncer. No entanto, ele explica que usar o aprendizado de máquina para prever informações privadas, como estratégias de negociação, pode ser uma abordagem bem-sucedida, pois outros fundos de hedge não estão competindo com os mesmos parâmetros exatos. Ele também compara estratégias quantitativas tradicionais com estratégias baseadas em aprendizado de máquina, observando que o aprendizado de máquina pode ajudar na modelagem de conjuntos de dados alternativos e grandes por meio de modelos não lineares.
  
  
• 00:20:00 Nesta seção, o Dr. Ernest Chan discute os benefícios do uso de modelos não lineares para prever o comportamento do mercado. Os modelos quantitativos tradicionais são fáceis de entender e são lineares, dificultando o overfit, mas não conseguem lidar com a dependência não linear entre os preditores. Os modelos de aprendizado de máquina, por outro lado, podem lidar com dependência não linear com facilidade, e sua complexidade e opacidade os tornam difíceis de replicar. Além disso, os modelos de aprendizado de máquina fornecem uma probabilidade de sucesso, permitindo uma alocação de capital mais informada. No entanto, o overfitting é um problema com modelos de aprendizado de máquina, e avaliar a significância estatística pode ser difícil. Simular backtests é uma solução imperfeita e as nuances do mercado não podem ser totalmente capturadas em uma simulação.
  
  
• 00:25:00 Nesta seção, o Dr. Ernest Chan discute a diferença entre estratégias quantitativas tradicionais e estratégias baseadas em aprendizado de máquina. Ele explica que é muito mais difícil simular o mercado e criar barras de erro precisas para as estratégias tradicionais, dificultando a avaliação de sua eficácia. Por outro lado, os modelos de aprendizado de máquina são fáceis de gerar vários backtests, simplesmente trocando a semente aleatória, e cada backtest potencialmente fornece resultados diferentes. Essa aleatoriedade permite uma avaliação mais fácil da significância estatística dos backtests, tornando-se uma grande vantagem do uso do aprendizado de máquina na negociação. No entanto, a ciência de dados financeiros é a etapa mais difícil e demorada da construção de uma estratégia, pois geralmente há inúmeros problemas com dados financeiros, mesmo de fornecedores confiáveis.
  
  
• 00:30:00 Nesta seção, o Dr. Ernest Chan descreve alguns dos problemas associados ao uso de dados de sentimento. Ele observa que os dados de sentimento nem sempre são confiáveis, pois as empresas que processam as notícias podem voltar atrás e alterar os parâmetros para parecerem bons. Devido à incapacidade de saber se os dados foram analisados com viés, é necessário processar os boletins brutos em um novo sentimento, introduzindo um risco. Além disso, os dados apresentam um desafio significativo na automatização de respostas. A etapa da ciência de dados financeiros é desafiadora, pois requer inteligência humana por meio de conhecimento de domínio, uma questão paradoxal em problemas de aprendizado de máquina financeira. A segunda etapa é o aprendizado de máquina, que a indústria de tecnologia já resolveu. A etapa final é construir e testar estratégias de negociação, o que requer reunir a previsão em uma estratégia coerente e avaliar a significância estatística.
  
  
• 00:35:00 Nesta seção, o Dr. Ernest Chan discute como converter previsões em um portfólio seguindo uma rotina padrão, que pode ser encontrada em livros de finanças. No entanto, isso requer algum conhecimento de domínio e não é totalmente automático. Ele também destaca as dificuldades da ciência de dados financeiros, como tornar recursos estacionários e a importância de usar meta-rotulagem para prever se uma estratégia será lucrativa em vez de prever o mercado. O Dr. Chan recomenda a leitura de sua postagem no blog sobre meta-rotulagem aplicada a finanças para obter mais informações. Ele também menciona que o Random Forest é a escolha de modelo mais popular para machine learning financeiro porque captura bem a não linearidade e tem a complexidade certa.
  
  
• 00:40:00 Nesta seção, o Dr. Ernest Chan fala sobre a importância do aprendizado de máquina para prever as tendências do mercado e evitar perdas. Ele compartilha sua experiência pessoal com o uso de um modelo de aprendizado de máquina para detectar a presença de atividades terroristas na economia mundial e alerta para os riscos de não seguir seus conselhos, como foi o caso do anúncio da vacina da Pfizer. Ele também enfatiza a importância da seleção de recursos para explicar perdas aos investidores e recomenda seu próprio livro sobre aprendizado de máquina para iniciantes. Além disso, o Dr. Chan destaca a importância da limpeza e estacionariedade dos dados para fazer previsões corretas, para as quais ele compartilha um exemplo de como uma série temporal não estacionária pode afetar negativamente a capacidade do modelo de prever com precisão.
  
  
• 00:45:00 Nesta seção, o Dr. Ernest Chan discute a incorporação de dados fundamentais, particularmente dados categóricos, em modelos de aprendizado de máquina. Embora os modelos de regressão linear não possam lidar com dados categóricos, os modelos de aprendizado de máquina podem lidar com valores reais e dados categóricos. No entanto, o Dr. Chan enfatiza que o aprendizado de máquina não pode substituir totalmente os operadores humanos, pois o aprendizado de máquina financeiro requer profundo conhecimento de domínio para criar recursos e interpretar dados corretamente. Além disso, ele adverte contra a adoração cega de aprendizagem profunda e enfatiza que não é uma solução única sem dados relevantes suficientes. Finalmente, ele aconselha os jovens praticantes a encontrar um nicho de mercado e evitar competir diretamente com organizações bem financiadas.
  
  
• 00:50:00 Nesta seção, o Dr. Ernest Chan discute a alocação de capital e como o aprendizado de máquina pode fornecer um retorno esperado mais sofisticado como uma entrada para o modelo de alocação de ativos de capital. Ele questiona a contradição de usar o desempenho passado como retorno esperado, o que não garante o sucesso futuro. O aprendizado de máquina também pode fornecer uma compreensão diferenciada do mercado com probabilidades variadas todos os dias, ao contrário das estatísticas clássicas que fornecem apenas probabilidade estática de distribuição. Quando se trata de métodos de aprendizado profundo, como redes neurais convolucionais recorrentes, o Dr. Chan acredita que eles podem não ser úteis para entradas de séries não temporais e seleção de recursos.
  
  
• 00:55:00 Nesta seção, o Dr. Ernest Chan discute as limitações do aprendizado profundo na criação de diversos recursos transversais necessários para fazer previsões bem-sucedidas que exigem conhecimento de domínio. Ele também fornece sua opinião sobre o lugar do aprendizado por reforço em modelos financeiros em uma variedade de escalas de tempo. Ele acredita que o aprendizado por reforço pode funcionar em uma frequência muito alta para negociações de alta frequência, pois pode reagir a pessoas que colocam pedidos no livro de pedidos, mas falha em escalas de tempo mais longas. Por fim, ele recomenda sua empresa PredictNow.ai como um ótimo recurso para aprendizado de máquina financeira sem código para os interessados na experiência de alguém como ele.

[MetaQuotes]

Negociação com Deep Reinforcement Learning | Dr. Thomas Starke

Negociação com Deep Reinforcement Learning | Dr. Thomas Starke

O Dr. Thomas Starke, um especialista na área de aprendizado por reforço profundo para negociação, fez uma apresentação perspicaz e participou de uma sessão de perguntas e respostas com o público. O seguinte é um resumo estendido de sua palestra:

O Dr. Starke começou apresentando o aprendizado de reforço profundo para negociação, destacando sua capacidade de permitir que as máquinas resolvam tarefas sem supervisão direta. Ele usou a analogia de um aprendizado de máquina para jogar um jogo de computador, onde aprende a tomar decisões com base no que vê na tela e atinge o sucesso ou o fracasso com base em sua cadeia de decisões.

Ele então discutiu o conceito de um processo de decisão de Markov na negociação, onde os estados são associados a parâmetros de mercado e as ações fazem a transição do processo de um estado para outro. O objetivo é maximizar a recompensa esperada dada uma política e um estado específicos. Os parâmetros de mercado são cruciais para ajudar a máquina a tomar decisões informadas sobre as ações a serem tomadas.

O processo de tomada de decisão na negociação envolve determinar se deve comprar, vender ou manter com base em vários indicadores que informam o estado do sistema. O Dr. Starke enfatizou a importância de não confiar apenas nos rótulos imediatos de lucro ou prejuízo para cada estado, pois isso pode levar a previsões incorretas. Em vez disso, a máquina precisa entender quando permanecer em uma negociação, mesmo que inicialmente vá contra ela, esperando que a negociação volte à linha média antes de sair.

Para lidar com a dificuldade de rotular cada etapa dos lucros e perdas de uma negociação, o Dr. Starke introduziu a rotulagem retroativa. Essa abordagem usa a equação de Bellman para atribuir um valor diferente de zero a cada ação e estado, mesmo que não resulte em lucro imediato. Isso permite a possibilidade de reversão à média e eventual lucro.

O aprendizado de reforço profundo pode ajudar na tomada de decisões de negociação com base em resultados futuros. Os métodos tradicionais de aprendizado por reforço constroem tabelas com base em experiências passadas, mas na negociação, o número de estados e influências é vasto. Para lidar com essa complexidade, o aprendizado por reforço profundo utiliza redes neurais para aproximar essas tabelas, tornando-o viável sem criar uma tabela enorme. O Dr. Starke discutiu a importância de encontrar a função de recompensa correta e as entradas para definir o estado, permitindo, em última análise, uma melhor tomada de decisão para negociação.

A importância dos insumos na negociação foi destacada, enfatizando sua necessidade de ter valor preditivo. Dr. Starke enfatizou a importância de testar o sistema para comportamento conhecido e selecionar o tipo apropriado, tamanho e função de custo da rede neural com base na função de recompensa escolhida. Ele explicou como a gamificação é empregada na negociação, onde preços históricos e atuais, dados técnicos de proteção e fontes de dados alternativas constituem o estado, e a recompensa é o lucro e a perda (P&L) da negociação. A máquina rotula observações retroativamente usando a equação de Bellman e atualiza continuamente tabelas aproximadas por redes neurais para melhorar a tomada de decisões.

Em relação ao treinamento com aprendizado por reforço, o Dr. Starke discutiu diferentes maneiras de estruturar a série de preços, incluindo entrar e sair aleatoriamente em vários pontos. Ele também abordou o desafio de projetar uma função de recompensa e forneceu exemplos como P&L de porcentagem pura, lucro por tick e índice de Sharpe, bem como métodos para evitar longos tempos de transporte ou rebaixamentos.

Em termos de entradas para negociação, o Dr. Starke mencionou várias opções, incluindo valores de abertura-alta-baixa-fechamento e volume, padrões de velas, indicadores técnicos como o índice de força relativa, hora do dia/semana/ano e preços de entrada e informações técnicas indicadores para outros instrumentos. Fontes de dados alternativas, como sentimentos ou imagens de satélite, também podem ser consideradas. A chave é construir essas entradas em um estado complexo, semelhante a como os recursos de entrada são usados em jogos de computador para tomar decisões.

Dr. Starke explicou a fase de teste que o aprendiz de reforço deve passar antes de ser usado para negociação. Ele delineou vários testes, incluindo ondas senoidais limpas, curvas de tendência, séries aleatórias sem estrutura, diferentes tipos de correlações de ordem, ruído em curvas de teste limpas e padrões recorrentes. Esses testes ajudam a determinar se a máquina gera lucros consistentemente e a identificar quaisquer falhas na codificação. O Dr. Starke também discutiu os diferentes tipos de redes neurais usadas, como memória padrão, convolucional e de longo prazo (LSTM). Ele expressou preferência por redes neurais mais simples que atendam às suas necessidades sem exigir esforço computacional excessivo.

O Dr. Starke então mergulhou nos desafios de usar o aprendizado por reforço para negociar. Ele reconheceu a dificuldade de distinguir entre sinal e ruído, particularmente em séries temporais financeiras ruidosas. Ele também destacou a dificuldade do aprendizado por reforço para se adaptar às mudanças no comportamento do mercado, tornando desafiador o aprendizado de novos comportamentos. Além disso, ele mencionou que, embora o aprendizado por reforço exija uma quantidade significativa de dados de treinamento, os dados de mercado costumam ser escassos. O overfitting é outra preocupação, pois o aprendizado por reforço tende a atuar nos padrões básicos do mercado e pode facilmente superajustar. Construir redes neurais mais complexas pode mitigar esse problema, mas é uma tarefa demorada. No geral, o Dr. Starke enfatizou que o aprendizado por reforço não é uma solução garantida para resultados lucrativos, e é crucial ter experiência de mercado e conhecimento específico do domínio para obter sucesso na negociação.

Durante a sessão de perguntas e respostas, o Dr. Starke abordou várias questões relacionadas à negociação com aprendizado de reforço profundo. Ele esclareceu que a equação de Bellman não introduz um viés de antecipação e discutiu o uso potencial de indicadores técnicos como entradas após uma análise cuidadosa. Ele também explorou a possibilidade de utilizar imagens de satélite para prever os preços das ações e explicou que a negociação de reforço pode ser realizada em pequenos intervalos de tempo, dependendo do tempo de cálculo da rede neural. Ele alertou que os algoritmos de negociação por reforço são sensíveis a anomalias de mercado e explicou por que treinar árvores de decisão aleatórias usando aprendizado por reforço não produz resultados significativos.

O Dr. Starke recomendou o uso de redes neurais para negociação em vez de árvores de decisão ou máquinas de vetores de suporte devido à sua adequação ao problema. Ele enfatizou a importância de ajustar a função de perda com base na função de recompensa utilizada. Embora algumas tentativas tenham sido feitas para aplicar o aprendizado por reforço ao comércio de alta frequência, o Dr. Starke destacou o desafio de redes neurais lentas sem capacidade de resposta em mercados em tempo real. Ele aconselhou pessoas interessadas em seguir uma carreira comercial no setor financeiro a adquirir conhecimento de mercado, envolver-se em negócios reais e aprender com a experiência. Por fim, ele discutiu os desafios de combinar redes neurais e negociação de opções, reconhecendo a complexidade da tarefa.

Em conclusão, o Dr. Thomas Starke forneceu informações valiosas sobre negociação com aprendizado de reforço profundo. Ele cobriu tópicos como o processo de tomada de decisão na negociação, rotulagem retroativa, a equação de Bellman, a importância das entradas, fases de teste e desafios associados ao aprendizado por reforço para negociação. Por meio de sua palestra e sessão de perguntas e respostas, o Dr. Starke ofereceu orientação e considerações práticas para alavancar o aprendizado profundo por reforço nos mercados financeiros.

• 00:00:00 O Dr. Thomas Stark apresenta o aprendizado de reforço profundo para negociação, um tópico no qual ele tem se interessado há vários anos. O aprendizado por reforço (RL) é uma técnica que permite que uma máquina resolva uma tarefa sem supervisão e aprenda sozinha o que fazer para produzir resultados favoráveis. Ele explica como uma máquina que deseja aprender a jogar um jogo de computador começaria em um cenário de jogo e passaria de uma etapa para a seguinte, respondendo ao que vê na tela. Por fim, o jogo termina e a máquina atinge o sucesso ou o fracasso com base na cadeia de decisões que tomou.
  
  
• 00:05:00 Dr. Thomas Starke discute negociação com aprendizado de reforço profundo e explica o conceito de um processo de decisão de Markov. Nesse processo, um estado é associado a um parâmetro de mercado específico e uma ação faz a transição do processo de um estado para outro. Dependendo da transição, o agente recebe uma recompensa positiva ou negativa. O objetivo é maximizar a recompensa esperada dada uma determinada política e estado. Na negociação, os parâmetros de mercado são usados para identificar em que estado o agente está e ajudá-lo a tomar decisões sobre qual ação tomar.
  
  
• 00:10:00 O Dr. Thomas Starke discute o processo de tomada de decisão envolvido na negociação, que envolve a decisão de comprar, vender ou manter com base em vários indicadores que informam o estado do sistema. O objetivo é receber a melhor recompensa possível, que é o lucro ou prejuízo da negociação. No entanto, a abordagem tradicional de aprendizado de máquina de atribuir a um estado um rótulo específico, como lucro ou prejuízo imediato, pode levar a rótulos incorretos se a negociação for contra nós no futuro imediato. Portanto, a máquina deve entender quando permanecer no trade mesmo que inicialmente vá contra nós e ter a convicção de esperar até que o trade volte à linha média para sair do trade.
  
  
• 00:15:00 O Dr. Thomas Starke discute a rotulagem retroativa e como ela é usada no aprendizado por reforço para lidar com a dificuldade de rotular cada etapa dos lucros e perdas de uma negociação. Ele explica que o aprendizado de máquina tradicional rotula cada etapa do comércio, tornando difícil prever se o comércio pode se tornar lucrativo no futuro se sofrer uma perda. A rotulagem retroativa usa a equação de Bellman para atribuir um valor diferente de zero a cada ação e estado, mesmo que não produza lucro imediato, permitindo uma reversão à média e lucro eventual.
  
  
• 00:20:00 O Dr. Thomas Starke explica como usar o aprendizado por reforço para resolver o problema da gratificação atrasada na negociação. A equação de Bellman é usada para calcular a recompensa de uma ação, com "r" representando recompensa imediata e "q" representando recompensa cumulativa. Gama é um fator de desconto que atribui peso a resultados futuros em comparação com resultados anteriores. Ao usar o aprendizado por reforço, as decisões de negociação não se baseiam apenas em recompensas imediatas, mas também em manter posições para recompensas futuras mais altas. Isso permite uma tomada de decisão mais informada em comparação com a tomada de decisão gananciosa.
  
  
• 00:25:00 O Dr. Thomas Starke discute como o aprendizado por reforço profundo pode ajudar na tomada de decisões para negociação com base em resultados futuros. O aprendizado por reforço tradicional envolve a construção de tabelas com base em experiências passadas, mas na negociação isso se torna complexo devido à grande quantidade de estados e influências. Portanto, a solução é usar aprendizado por reforço profundo e redes neurais para aproximar essas tabelas sem criar uma tabela enorme. Ele explica a implementação do uso de gamificação de negociação e como encontrar a função de recompensa certa e as entradas para definir o estado. No geral, o uso de aprendizado por reforço profundo pode ajudar na tomada de decisões para negociação.
  
  
• 00:30:00 Nesta seção, o Dr. Starke discute a importância dos insumos na negociação e como eles precisam ter algum tipo de valor preditivo, caso contrário, o sistema não será capaz de tomar boas decisões de negociação. Ele enfatiza a necessidade de testar o sistema quanto ao comportamento conhecido e escolher o tipo, tamanho e função de custo apropriados da rede neural, dependendo da função de recompensa escolhida. Em seguida, ele explica como a gamificação funciona na negociação, onde o estado é o histórico e os preços atuais, dados de proteção técnica e fontes de dados alternativas, e a recompensa é o P&L da negociação. O aprendiz de reforço usará a equação de Bellman para rotular observações retroativamente e, por meio da atualização constante de tabelas aproximadas por redes neurais, a máquina aprenderá a tomar decisões de negociação cada vez melhores.
  
  
• 00:35:00 Nesta seção, o Dr. Thomas Starke discute como estruturar a série de preços para treinamento usando aprendizado por reforço. Ele explica que, em vez de percorrer a série de preços sequencialmente, você pode entrar e sair aleatoriamente em pontos diferentes, cabendo ao usuário decidir qual método escolher. Ele também discute a dificuldade de projetar uma função de recompensa e fornece vários exemplos e métodos para estruturar uma função de recompensa que pode ser usada para treinamento, como o uso de porcentagem pura de P&L, lucro por tick, índice de Sharpe e diferentes tipos de punições para evitar longos tempos de transporte ou rebaixamentos.
  
  
• 00:40:00 De acordo com o Dr. Thomas Starke, temos muitas opções, incluindo valores de abertura alta baixa e fechamento de volume, padrões de velas, indicadores técnicos como o índice de força relativa, hora do dia/semana/ano, diferentes granularidades de tempo, entrada preços e indicadores técnicos para outros instrumentos e dados alternativos como sentimentos ou imagens de satélite. Essas entradas são então construídas em um estado complexo, semelhante a como um jogo de computador usa recursos de entrada para tomar decisões. Em última análise, a chave é encontrar a função de recompensa certa que funcione para o seu estilo de negociação e otimizar seu sistema de acordo.
  
  
• 00:45:00 Dr. Thomas Starke explica a fase de teste que seu aprendiz de reforço deve passar antes de ser usado para negociar nos mercados financeiros. Ele aplica uma série de testes, incluindo ondas senoidais limpas, curvas de tendência, séries aleatórias sem estrutura, diferentes tipos de correlações de pedidos, ruído em curvas de teste limpas e padrões recorrentes para determinar se a máquina obtém lucros consistentes e para encontrar falhas na codificação . Ele também discute os diferentes tipos de redes neurais que usa, incluindo memória padrão, convolucional e de longo prazo (LSTM), e sua preferência por redes neurais simples, pois são suficientes para suas necessidades e não exigem esforço computacional excessivo.
  
  
• 00:50:00 Nesta seção, o Dr. Thomas Starke discute os desafios da negociação com aprendizado por reforço, incluindo as dificuldades de distinguir entre sinal e ruído e o problema de mínimos locais. Ele mostra que o aprendizado por reforço luta com séries temporais financeiras ruidosas e sistemas financeiros dinâmicos com regras e regimes de mercado mutáveis. No entanto, ele também mostra que suavizar a curva de preços com uma média móvel simples pode melhorar significativamente o desempenho da máquina de aprendizado por reforço, fornecendo informações sobre como construir um sistema de aprendizado de máquina bem-sucedido que pode tomar decisões comerciais lucrativas.
  
  
• 00:55:00 Nesta seção, o Dr. Thomas Starke discute os desafios de usar o aprendizado por reforço para negociação. Em primeiro lugar, o aprendizado por reforço luta para se adaptar às mudanças no comportamento do mercado, tornando desafiador aprender novos comportamentos. Além disso, muitos dados de treinamento são necessários, mas os dados de mercado geralmente são escassos. Embora o aprendizado por reforço seja eficiente, ele pode superajustar facilmente e realmente só atua nos padrões básicos do mercado. Construir redes neurais mais complexas pode superar isso, mas é uma tarefa demorada. Em última análise, o aprendizado por reforço não é uma bala de prata para produzir resultados lucrativos, e é importante ter uma boa experiência de mercado e conhecimento específico do domínio para obter resultados comerciais bem-sucedidos. Dr. Starke oferece uma palestra Quant NC e incentiva qualquer pessoa interessada em codificar esses sistemas a contatá-lo no LinkedIn com perguntas bem formuladas.
  
  
• 01:00:00 O Dr. Thomas Starke responde a várias perguntas relacionadas à negociação com aprendizado de reforço profundo. Ele explica que a equação de Bellman não introduz um viés de antecipação e, às vezes, os indicadores técnicos podem ser usados como entradas após uma análise cuidadosa. As imagens de satélite podem ser úteis para prever os preços das ações, e a negociação de reforço pode ser feita em pequenos intervalos de tempo, dependendo do tempo de cálculo da rede neural. Ele também discute como os algoritmos de negociação por reforço são sensíveis às anomalias do mercado e explica por que não faz sentido treinar árvores de decisão aleatórias usando o aprendizado por reforço.
  
  
• 01:05:00 Nesta seção, o Dr. Thomas Starke recomenda o uso de redes neurais para negociação em vez de árvores de decisão ou máquinas de vetores de suporte devido à sua adequação ao problema. Ele explica que é essencial ajustar a função de perda com base na função de recompensa utilizada. Ele menciona que as pessoas tentaram usar o aprendizado por reforço para negociação de alta frequência, mas acabaram com redes neurais lentas que careciam de capacidade de resposta em mercados em tempo real. Ele sugere que obter conhecimento de mercado ajudará significativamente a seguir uma carreira comercial no setor financeiro, fazendo negócios reais e aprendendo muito no processo. Por fim, ele discute se é possível usar redes neurais para obter bons resultados com negociação de opções e explica os desafios de combinar redes neurais e negociação de opções.
  
  
• 01:10:00 Nesta seção, o Dr. Thomas Starke discute como os dados de opções podem ser usados como uma entrada para negociar o instrumento subjacente, em vez de confiar apenas em indicadores técnicos. Ele também responde a perguntas sobre o uso de redes neurais para decidir o número de lotes a serem comprados ou vendidos e como incorporar spread, comissão e derrapagem ao algoritmo, construindo um modelo de derrapagem e incorporando esses fatores à função de recompensa. Ele aconselha cautela ao usar redes neurais para decidir sobre os volumes de negociação e recomenda o uso de valores de saída para dimensionar os pesos da carteira de acordo. Ele conclui agradecendo ao público por suas perguntas e por assistir a sua palestra.

[MetaQuotes]

Harrison Waldon (UT Austin): "As equações de aprendizagem algorítmica"

Harrison Waldon (UT Austin): "As equações de aprendizagem algorítmica"

Harrison Waldon, pesquisador da UT Austin, apresentou seu trabalho sobre conluio algorítmico nos mercados financeiros, com foco na interação e conluio potencial de algoritmos de aprendizado por reforço (RL). Ele abordou as preocupações dos reguladores em relação à negociação algorítmica autônoma e seu potencial para inflar os preços por meio de conluio sem comunicação explícita.

A pesquisa de Waldon teve como objetivo entender o comportamento dos algoritmos de RL em ambientes financeiros e determinar se eles podem aprender a conspirar. Ele utilizou equações de aprendizado algorítmico (ALEs) para derivar um sistema de equações diferenciais ordinárias (ODEs) que aproximam a evolução de algoritmos sob condições específicas. Esses ALEs foram capazes de validar o comportamento colusivo em algoritmos de Q-learning e forneceram uma boa aproximação da evolução do algoritmo, demonstrando uma grande bacia de atração para resultados colusivos.

No entanto, existem desafios para calcular a distribuição estacionária e distinguir o verdadeiro conluio do comportamento racional de autopreservação. Dificuldades numéricas surgem na determinação da distribuição estacionária, e continua sendo um desafio diferenciar o conluio genuíno do comportamento movido pelo interesse próprio.

Waldon destacou as limitações do equilíbrio estático do jogo quando aplicado a interações dinâmicas, enfatizando a necessidade de uma abordagem abrangente para regular o comportamento. O comportamento colusivo facilitado por algoritmos sem comunicação direta entre as partes requer consideração cuidadosa. A palestra foi concluída com Waldon expressando sua gratidão aos participantes, marcando o fim da série do semestre da primavera.

• 00:00:00 Nesta seção, Harrison Walden da UT Austin discute seu trabalho recente sobre conluio algorítmico no setor financeiro. Ele observa que a maioria das negociações nos mercados eletrônicos é executada por algoritmos, muitos dos quais usam técnicas de aprendizado de máquina, como aprendizado por reforço (RL) para aprender estratégias de negociação. Embora a RL tenha obtido sucesso prático em hedge profundo e execução ideal, os reguladores expressaram preocupação com as empresas que dependem de negociações algorítmicas totalmente autônomas, pois podem levar a conluios de tarefas e preços inflacionados no mercado sem comunicação explícita. O trabalho de Walden visa fornecer ferramentas para estudar o conluio algorítmico e seu impacto potencial no setor financeiro.
  
  
• 00:05:00 Nesta seção, Harrison Waldon discute as limitações dos estudos existentes sobre o comportamento de algoritmos de aprendizado por reforço em ambientes financeiros. Embora algumas evidências experimentais mostrem que certos algoritmos de aprendizado por reforço podem aprender estratégias colusivas complexas em determinados cenários, esses experimentos carecem de rigor teórico. Além disso, a falta de explicabilidade dos algoritmos RL é uma preocupação para organizações como o AFM, particularmente em ambientes multiagentes e não estacionários, como mercados financeiros. As principais questões que orientam o trabalho de Waldon são: Como podemos entender o comportamento de interação de algoritmos de aprendizado por reforço em configurações financeiras, e esses algoritmos podem aprender a conspirar?
  
  
• 00:10:00 Nesta seção, Harrison Waldon explica que no aprendizado por reforço (RL), a função F, ou a regra de aprendizado, usa valores de parâmetros antigos, estado atual, ação atual e possivelmente o estado subsequente para incorporar as informações em um novo conjunto de parâmetros. O objetivo é encontrar um conjunto de parâmetros que se aproximem da política ótima. Um algoritmo popular em RL é o Q-learning tabular assíncrono, que associa um valor de parâmetro a cada par estado-ação e os atualiza de maneira assíncrona. O Q-learning funciona bem em configurações de agente único, mas se torna mais desafiador em configurações de multiagente e não estacionárias, comuns em mercados. O espaço de estado em finanças é definido como o vetor de preços postados por outros agentes, onde o espaço de ação pode incluir comprar, vender ou manter.
  
  
• 00:15:00 Nesta seção, aprendemos que uma descoberta interessante no trabalho da equipe é que os algoritmos podem aprender o comércio de manchas solares se começarem a se condicionar a fatores de mercado irrelevantes. O palestrante explica como o aprendizado Q se comporta em interação com outros aprendizes Q e define o análogo multiagente de um processo de decisão Markov como um jogo estocástico. Eles discutem como os agentes estão aprendendo e adaptando suas políticas ao longo do tempo, tornando a verdadeira dinâmica do processo de estado não estacionária, mesmo que a função de transição possa ser fixa. O principal exemplo utilizado na palestra é o dilema do prisioneiro, interpretado como um mercado estilizado com dois provedores de liquidez concorrentes.
  
  
• 00:20:00 compreensão do comportamento de algoritmos aprendendo a jogar um jogo repetido do dilema do prisioneiro com outros jogadores equipados com algoritmos. Para conseguir isso, o processo de estado deve receber uma noção de estado e o sistema ao qual chegamos é chamado de equações de aprendizado algorítmico. Para derivar esse sistema, eles usam o método ode de aproximação estocástica para aproximar a evolução dos parâmetros, permitindo uma análise direta das políticas. Embora existam limitações neste modelo, as ferramentas apresentadas são gerais e podem lidar com essas limitações.
  
  
• 00:25:00 Nesta seção, Harrison Waldon discute as equações de aprendizado algorítmico, que aproximam a evolução dos parâmetros utilizando a aproximação estocástica clássica e uma EDO. Condicionando a regra de aprendizado em relação à distribuição estacionária e induzindo parâmetros fixos, eles derivam um sistema de EDOs que imitam o algoritmo de aprendizado. Essas equações de aprendizado algorítmico podem aproximar a evolução do algoritmo dadas certas condições, como taxas de aprendizado não degeneradas e compacidade dos parâmetros. A distribuição estacionária e as políticas são contínuas de Lipschitz, o que também se mostra crucial. A aproximação estocástica utilizada é necessária devido ao processo não estacionário com dinâmica variável.
  
  
• 00:30:00 Nesta seção, Harrison Waldon discute as Equações de Aprendizagem Algorítmica e suas propriedades. O exemplo de Q-learning discutido no vídeo satisfaz todas as propriedades dessas equações, incluindo a manutenção de parâmetros em um conjunto compacto, cadeias de Markov ergódicas, continuidade de Lipschitz em políticas e regras de aprendizado. Waldon mostra que, sob escala de tempo apropriada, o algoritmo estará próximo das soluções da EDO para qualquer horizonte de tempo finito com alta probabilidade e convergirá para soluções localmente assintoticamente estáveis quase certamente se a taxa de aprendizado decair rápido o suficiente. Waldon conclui validando essas equações aplicando-as ao dilema do prisioneiro repetido usando Q-learning com seleção de ação softmax.
  
  
• 00:35:00 Nesta seção, são discutidas as condições necessárias para que a equação de aprendizado algorítmico aproxime a evolução dos algoritmos. A condição do processo de estado para ergodicidade é satisfeita imediatamente para este cenário, pois há apenas um estado. Trajetórias do algoritmo de aprendizado são simuladas com taxas de aprendizado grandes e pequenas, o que mostra que a aproximação pela equação de aprendizado algorítmico é boa com taxas de aprendizado pequenas. As ALEs também são úteis na análise da probabilidade de obtenção de um resultado colusivo, com uma grande Bacia de Atração levando a tal resultado. Na próxima parte do vídeo, cada agente tem a possibilidade de condicionar seus spreads aos spreads de seu oponente no período anterior.
  
  
• 00:40:00 Nesta seção do vídeo, Harrison Waldon explica a probabilidade de executar uma determinada ação e a fonte de ruído nas simulações que estão analisando. Ele discute o processo de estado ergótico, a distribuição estacionária de políticas e como interpretar os componentes das políticas de cada agente em termos de punição para examinar a frequência com que um conjunto de políticas induzirá o resultado do conluio. Ele também fornece gráficos das equações de aprendizado algorítmico para aprendizado Q dependente do estado para uma variedade de condições iniciais até que a trajetória converja numericamente.
  
  
• 00:45:00 Nesta seção do vídeo, Harrison Waldon discute os resultados do uso do Q-learning com as Equações de Aprendizagem Algorítmica para aprender o comportamento de conluio em jogos estocásticos. Os agentes foram capazes de aprender a jogar spreads colusivos quase 100% do tempo, mesmo que não começassem com altas probabilidades de conluio. Os resultados também mostraram uma grande bacia de atração para o resultado do conluio, mas também comportamentos inesperados, como alternar entre resultados mutuamente conluios e mutuamente competitivos. A metodologia utilizada neste estudo forneceu condições suficientes minimamente restritivas que permitiram a aproximação do comportamento de uma ampla classe de algoritmos de aprendizado por reforço dependentes de estado. No entanto, houve algumas limitações devido a dificuldades numéricas no cálculo da distribuição estacionária. No geral, o Q-learning foi bem-sucedido em aprender o comportamento colusivo nesses jogos estocásticos.
  
  
• 00:50:00 Nesta seção, Harrison Waldon explica como garantir que as equações de aprendizado algorítmico se aproximem do comportamento assintótico do algoritmo, mostrando a existência de uma função de Lyapunov, o que é difícil devido à necessidade de lidar com a distribuição estacionária. Para resolver esse problema, Waldon apresenta um novo algoritmo que é uma generalização do clássico jogo fictício chamado State Dependent Smooth Fictitious Play. Esse algoritmo assume que todos os agentes em um sistema jogam de acordo com políticas estacionárias, e as crenças dessas estratégias são formadas por meio da frequência empírica do jogo. O algoritmo adiciona alguma aleatoriedade ao sistema e executa ações de acordo com uma distribuição soft-max para contornar os problemas de regras de aprendizagem determinísticas.
  
  
• 00:55:00 Nesta seção, Harrison Waldon explica que as equações de aprendizado algorítmico podem ser usadas para analisar um sistema de tempo contínuo e garantir que o algoritmo de jogo fictício suave converja para pontos de repouso do sistema, alguns dos quais podem ser estratégias de conluio . À medida que o fator de desconto cresce, a probabilidade de aprender os resultados do conluio aumenta. Waldon também discute a necessidade de uma dinâmica de mercado mais realista e a possibilidade de aplicar equações de aprendizado algorítmico a algoritmos de aprendizado por reforço profundo para estudar equilíbrios e preços. Finalmente, ele reconhece a dificuldade da detecção de conluio e o desafio de distinguir entre o verdadeiro conluio e o comportamento racional de autopreservação.
  
  
• 01:00:00 Nesta seção, Harrison Waldon discute como o equilíbrio de um jogo estático é um reflexo estreito da realidade da interação dinâmica entre as pessoas. Ele enfatiza a necessidade de uma abordagem holística ao considerar qual comportamento de equilíbrio regular, especialmente em termos de comportamento colusivo que pode ser visto como racional e chegar por meio de algoritmos sem comunicação direta entre as partes. A sessão termina com Waldon agradecendo aos participantes e concluindo a série do semestre da primavera.

[MetaQuotes]

Irene Aldridge (AbleBlox e AbleMarkets): "Crypto Ecosystem and AMM Design"

Irene Aldridge (AbleBlox e AbleMarkets): "Crypto Ecosystem and AMM Design"

Irene Aldridge, fundadora e diretora administrativa da AbleMarkets, investiga vários aspectos da tecnologia blockchain, criação de mercado automatizada (AMM) e a convergência de mercados tradicionais com o mundo dos AMMs. Ela enfatiza a importância desses tópicos em finanças e explora os possíveis desafios e soluções associados a eles.

Aldridge começa fornecendo uma visão geral de sua experiência no setor financeiro e sua experiência em microestrutura, que se concentra na compreensão das operações de mercado. Ela destaca a crescente adoção de modelos automatizados de criação de mercado, inicialmente proeminentes no mercado cripto, mas agora se estendendo aos mercados tradicionais. Ela descreve a estrutura de sua apresentação, que abrange conceitos introdutórios de blockchain, a aplicação de blockchain em finanças e programação e estudos de caso do mundo real sobre criação de mercado e seu impacto nos mercados tradicionais.

Explorando a tecnologia blockchain, Aldridge a descreve como um banco de dados avançado em que cada linha carrega um resumo criptográfico da linha anterior, garantindo a integridade dos dados. Ela explica o processo de mineração envolvido no blockchain, onde o conteúdo proposto é validado e adicionado à cadeia, levando a uma maior transparência e descentralização na papelada e nos sistemas de pagamento.

Aldridge discute a mudança em direção à descentralização no ecossistema criptográfico, destacando a compensação entre privacidade e a robustez de ter várias cópias do banco de dados em servidores. Ela explica o processo blockchain, desde a definição de blocos e criação de assinaturas criptográficas até as principais inovações de prova de trabalho e mineração, que garantem segurança contra tentativas de hackers.

No entanto, Aldridge reconhece os desafios associados ao sistema de mineração de prova de trabalho, incluindo o aumento do custo da mineração, um número decrescente de mineradores e possíveis vulnerabilidades. Ela destaca soluções alternativas, como a agregação de blocos da Ethereum e a eliminação de enigmas para mineração da Coinbase.

O palestrante passa a explorar a participação no ecossistema criptográfico, onde as partes interessadas comprometem seus fundos para apoiar as operações da rede. Ela reconhece o problema potencial dos oligarcas cripto manipulando o mercado e explica como a validação fora da cadeia e a criação automatizada de mercado foram implementadas para combater esse problema. Aldridge enfatiza a importância de entender esses conceitos para entender o significado da criação de mercado automatizada na prevenção da manipulação no mercado de criptografia.

Aldridge investiga os princípios por trás dos Automated Market Makers (AMMs), enfatizando seu impacto revolucionário no comércio de criptomoedas. Ela explica como as curvas AMM, moldadas por invariantes relacionadas à liquidez, determinam os preços com base no estoque remanescente no pool de liquidez. Ela destaca os benefícios dos AMMs, incluindo liquidez 24 horas por dia, 7 dias por semana, estimativa de derrapagem formulada e determinação do valor justo por meio de curvas convexas. No entanto, ela também menciona que os AMMs podem enfrentar perdas em condições voláteis, levando à introdução de taxas de transação.

Comparando AMMs com mercados tradicionais, Aldridge discute as vantagens da criação automatizada de mercado, como liquidez contínua, derrapagem previsível e determinação do valor justo. Ela explica o método constante de criação de mercado de produtos empregado pela UniSwap, ilustrando como os corretores de execução podem selecionar plataformas para liquidez e execução com base em dados parametrizados.

O palestrante discute o cálculo das mudanças de volume e a distinção entre pools de liquidez públicos e privados. Ela apresenta exemplos empíricos usando Bitcoin e Ethereum de diferentes bolsas, apontando diferenças em suas curvas e sugerindo possíveis preocupações com determinadas plataformas.

Aldridge enfatiza a importância de projetar curvas AMM usando formas convexas para garantir a estabilidade do mercado. Ela explica as funções dos provedores de liquidez e comerciantes no sistema e como eles se beneficiam das taxas de transação. Ela também levanta a possibilidade de os sistemas AMM serem usados em mercados tradicionais, levando a consideração de sua aplicação em ativos como ações da IBM.

Aldridge explora a convergência dos mercados tradicionais com a criação de mercado automatizada, observando que os criadores de mercado tradicionais já estão implementando sistemas semelhantes. Ela destaca as mudanças esperadas nas interações de mercado, estratégias de negociação, métodos de execução e transparência. A influência dos criadores de mercado automatizados na microestrutura dos mercados também é discutida.

Abordando a viabilidade da implementação de liquidez automatizada em ambientes de negociação 24 horas por dia, 7 dias por semana, como o mercado de criptomoedas, Aldridge explica que a criação de mercado automatizada pode eliminar os riscos associados aos métodos tradicionais de criação de mercado e que a tecnologia está prontamente disponível. No entanto, ela adverte que nem todas as trocas de criptomoedas utilizam criação de mercado automatizada, enfatizando a necessidade de pesquisas para abordar o gerenciamento de riscos e as externalidades. Aldridge aponta que a tecnologia automatizada de criação de mercado surgiu na mesma época que criptomoedas como o Bitcoin em 2002.

Quando questionado sobre a potencial vantagem injusta de revendedores automatizados de criação de mercado terem acesso a informações privadas, Aldridge reconhece que isso representa um problema. No entanto, ela sugere que pesquisar e quantificar a curva automatizada de criação de mercado em diferentes plataformas pode ajudar a mitigar esse problema. Ela observa que os mineradores são incentivados a continuar seu trabalho porque são eles que se beneficiam ao acessar e validar os blocos de pedidos. No entanto, a menos que haja um incentivo privado, é cada vez mais desafiador gerar lucros nesse espaço, levando à formação de oligopólios. Aldridge propõe que o seguro poderia servir como um incentivo natural para os mineiros trabalharem quase de graça. No entanto, as seguradoras percebem o blockchain como uma grande ameaça para sua indústria, resultando em resistência a tais projetos de sistema. Ela também aborda a possibilidade de esquemas de fraude, destacando a potencial manipulação na curva da IBM.

No contexto dos livros de ordens de limite centralizado, Aldridge explica como os participantes do mercado estão utilizando modelos automatizados de criação de mercado, como AMMs, que fornecem liquidez de maneira econômica e automatizada, resultando potencialmente em lucros. No entanto, distinguir entre traders que usam AMMs e aqueles que colocam manualmente ordens limitadas continua sendo um desafio. Aldridge sugere que a identificação de usuários mal-intencionados por meio da análise de dados microestruturais pode oferecer uma solução potencial. Ela acredita que, se os AMMs continuarem a dominar o mercado, um modelo mais eficiente e simplificado surgirá.

Em resumo, a discussão de Irene Aldridge abrange vários aspectos da tecnologia blockchain, criação de mercado automatizada e a convergência de mercados tradicionais com o mundo AMM. Ela explora os fundamentos do blockchain, discute os desafios e possíveis soluções relacionadas aos sistemas de mineração de prova de trabalho e destaca os benefícios dos AMMs em relação aos mercados tradicionais. Aldridge também aborda preocupações sobre a viabilidade da implementação de liquidez automatizada, a questão de revendedores automatizados de criação de mercado terem acesso a informações privadas e o papel potencial do seguro como um incentivo para mineradores. Por meio de seus insights, ela oferece perspectivas valiosas sobre o cenário atual e as possibilidades futuras no mundo das finanças e da criação automatizada de mercados.

• 00:00:00 Nesta seção, Irene Aldridge discute sua experiência no setor financeiro e seu interesse em microestrutura, que se concentra em como os mercados operam. Ela então apresenta o tópico de criação de mercado automatizada e como ela se originou no mercado de criptomoedas, mas agora está sendo implantada em mercados tradicionais. Ela fornece um esboço para a apresentação, que inclui uma introdução ao blockchain 101, aplicações de blockchain em finanças, programação e estudos de caso de criação de mercado na prática e suas repercussões nos mercados tradicionais. Aldridge tem formação em engenharia elétrica e trabalhou em várias áreas do setor financeiro, incluindo negociação, gerenciamento de risco e pesquisa.
  
  
• 00:05:00 Nesta seção, Irene Aldridge explica os fundamentos da tecnologia blockchain. Ela o descreve como um banco de dados sofisticado em que cada linha contém um resumo criptográfico da linha anterior, dificultando computacionalmente a alteração de quaisquer dados anteriores. Além disso, ela discute o processo de mineração do blockchain e como ele envolve o exame do conteúdo proposto de um bloco e sua confirmação na memória. Aldridge acredita que o blockchain pode ajudar a mover a papelada e os pagamentos para o blockchain, permitindo mais transparência e descentralização.
  
  
• 00:10:00 Nesta seção, Irene Aldridge discute a mudança para um modelo descentralizado no ecossistema criptográfico, onde as transações são públicas e armazenadas em vários servidores, em vez de centralizadas em um servidor Oracle. Embora isso signifique que a privacidade é sacrificada, o aumento da robustez de ter várias cópias do banco de dados em servidores é visto como uma compensação justa. Aldridge explica que o processo blockchain é relativamente direto, começando com a definição de um bloco e criando uma assinatura criptográfica ou hash, que é então codificado no próximo bloco. As principais inovações de prova de trabalho e procedimentos de mineração são discutidas, com o objetivo de garantir a segurança contra tentativas de hacking, tornando a complexidade computacional de recalcular a cadeia muito grande.
  
  
• 00:15:00 Nesta seção, Irene Aldridge discute os problemas que afetam o sistema de mineração de prova de trabalho em criptomoeda. Ela explica que o custo da mineração está se tornando muito caro para a maioria das pessoas, levando a um equilíbrio em que apenas um grupo específico de indivíduos pode arcar com os custos e o restante não consegue minerar. Além disso, o número de mineradores diminui com o tempo, tornando o sistema vulnerável a possíveis hacks. A força do modelo descentralizado é que a cadeia mais longa é selecionada automaticamente pelo mecanismo principal, evitando que os conspiradores se atualizem e introduzam blocos hackeados no sistema. No entanto, há preocupações crescentes sobre o sistema de prova de trabalho, incluindo questões de interesse entre mineradores que negociam e mineram, e o tempo que leva para minerar blocos. Agora, novas soluções estão sendo desenvolvidas, como a agregação de blocos da Ethereum a cada 12 segundos e a decisão da Coinbase de parar de exigir que as pessoas resolvam enigmas para minerar.
  
  
• 00:20:00 Nesta seção, o palestrante discute o processo de staking no ecossistema criptográfico, que envolve colocar dinheiro no sistema para minerar. As partes interessadas podem bloquear sua participação ou garantia por um período específico e, se houver atividade fraudulenta, eles pagam com sua participação. No entanto, isso cria um oligopólio de cripto oligarcas que manipulam o mercado. Para combater isso, a validação fora da cadeia e a criação de mercado automatizada foram usadas. Este último se tornou mais popular no ecossistema de criptografia e possui vários produtos de código aberto que qualquer pessoa pode acessar, facilitando o entendimento. O palestrante destaca que entender as informações básicas, como staking e validação fora da cadeia, é essencial para entender a importância da criação de mercado automatizada e como ela funciona para evitar a manipulação no mercado de criptomoedas.
  
  
• 00:25:00 Nesta seção, Irene Aldridge discute os princípios por trás de diferentes criadores de mercado automatizados (AMMs), que revolucionaram o mundo do comércio de criptomoedas. Ela explica que as curvas AMM, que variam em curvatura e deslocamento, são moldadas por uma invariante relacionada à liquidez, e que o preço é função do estoque remanescente no pool de liquidez. Um benefício dos AMMs é que eles podem negociar 24 horas por dia, 7 dias por semana, sem spread, pois não há spreads de compra e venda e podem se ajustar automaticamente às mudanças nas condições do mercado. No entanto, os AMMs podem perder dinheiro em condições voláteis, então eles colocam taxas de transação, que os mercados tradicionais não possuem.
  
  
• 00:30:00 Nesta seção, Irene Aldridge discute a criação automatizada de mercado (AMM) e seus benefícios em relação aos mercados tradicionais, como liquidez contínua 24 horas por dia, 7 dias por semana, derrapagem estereotipada que pode ser estimada com antecedência e valor justo por meio do uso de uma curva convexa. Aldridge explica o método de criação de mercado de produto constante usado pelo sistema popular UniSwap, que segue uma curva convexa entre a quantidade um e a quantidade dois. Ao coletar dados de diferentes bolsas e parametrizá-los com base nesse método de produto constante, Aldridge destaca como os corretores de execução podem determinar quais plataformas escolher para liquidez e execução.
  
  
• 00:35:00 Nesta seção, Irene Aldridge discute o cálculo das respectivas mudanças em volume e moeda e simula uma simulação muito simples usando a regra do carrapato feminino da microestrutura para determinar se o volume é uma compra ou venda. Ela também explica os dois tipos de pools de liquidez, público e privado, e a arbitragem que ocorre entre eles, enfatizando que não deve haver diferença entre eles em plataformas suficientemente líquidas. Aldridge então apresenta exemplos empíricos usando Bitcoin e Ethereum de várias bolsas, como Bitfinex e Bitstamp, e destaca suas curvas, apontando que FTX não se parece em nada com o que esperaríamos de uma perspectiva automatizada de Market Making e sugere que pode ter sido um Ponzi esquema o tempo todo.
  
  
• 00:40:00 Nesta seção, Irene Aldridge discute o projeto de curvas automatizadas de criação de mercado (AMM) e as compara a exemplos de várias trocas de criptomoedas. Ela destaca a importância de usar curvas convexas no projeto AMM para garantir a estabilidade do mercado e evitar aumentos drásticos de preços quando o estoque é comprado. Além disso, ela explica as funções dos provedores de liquidez e comerciantes no sistema e como eles se beneficiam das taxas de transação. Aldridge também menciona rumores de sistemas AMM sendo usados em mercados tradicionais e enfatiza a necessidade de considerar como esse projeto funcionaria para produtos como o estoque da IBM.
  
  
• 00:45:00 Nesta seção, Irene Aldridge discute a convergência dos mercados tradicionais e do mundo automatizado de criação de mercado, onde os criadores de mercado tradicionais já estão implantando sistemas semelhantes. Ela destaca que muitas mudanças são esperadas na forma como os indivíduos interagem com os mercados, como as estratégias de treinamento são construídas, como a execução é realizada e como tudo se torna transparente. Ela também observa que a microestrutura está mudando nos mercados devido à influência de criadores de mercado automatizados. Irene fornece uma compreensão básica de como os dados diários da IBM são usados para estimar as curvas AMM e como dados mais granulares facilitariam a obtenção de estimativas mais limpas.
  
  
• 00:50:00 Nesta seção, Irene Aldridge discute a viabilidade de implementar liquidez automatizada em ambientes de negociação 24 horas por dia, 7 dias por semana, como o mercado de criptomoedas, onde os métodos tradicionais de criação de mercado podem não ser tão eficazes. Ela explica que a criação de mercado automatizada pode eliminar os riscos associados aos métodos tradicionais de criação de mercado e que a tecnologia está amplamente disponível. No entanto, ela alerta que nem todas as trocas de criptomoedas usam criação de mercado automatizada e que pesquisas são necessárias para abordar o gerenciamento de riscos e as externalidades. Ela também observa que essa tecnologia existe desde 2002 e coincidiu com o surgimento de criptomoedas como o Bitcoin. Quando questionado sobre a potencial vantagem injusta de revendedores automatizados de criação de mercado terem acesso a informações privadas, Aldridge observa que esse é um problema em aberto que requer mais pesquisas.
  
  
• 00:55:00 Nesta seção, Irene Aldridge discute como os revendedores de AMM ou aqueles que recebem moedas e usam sistemas automatizados de criação de mercado (AMMs) veem o fluxo de pedidos antes dos outros, o que representa um problema. No entanto, como existem muitas plataformas disponíveis, pesquisar e quantificar a curva automatizada de criação de mercado pode ajudar a mitigar esse problema. Irene também observa que, devido a esse problema, os mineradores são motivados a continuar, pois são os únicos que se beneficiam da análise e validação de blocos de pedidos. No entanto, a menos que haja um incentivo privado, torna-se cada vez mais difícil ganhar dinheiro neste espaço, levando à formação de oligopólios. Irene sugere que o seguro pode ser um incentivo natural para que os mineradores se beneficiem e trabalhem quase de graça. No entanto, as seguradoras veem o blockchain como uma grande ameaça à sua existência, portanto, há resistência a esse tipo de design de sistema. Por fim, Irene aborda uma questão sobre a possibilidade de um esquema de fraude, afirmando que pode haver um na curva da IBM, onde se pode argumentar que o fundo está sendo manipulado.
  
  
• 01:00:00 Nesta seção, Irene Aldridge discute o uso de modelos automatizados de criação de mercado em livros de pedidos de limite centralizados. Os participantes do mercado estão utilizando seus próprios AMMs, pois são de baixo custo e automatizados, fornecendo liquidez ao mercado com potencial para gerar lucro. Apesar disso, atualmente é difícil diferenciar entre os traders que usam um AMM e aqueles que colocam ordens de limite manualmente. Aldridge sugere que a identificação de maus atores por meio dos dados da microestrutura pode ser um problema em aberto, mas se os AMMs continuarem a dominar o mercado, um modelo mais simplificado surgirá.

[MetaQuotes]

Agostino Capponi (Columbia): "Os pools de transações privadas reduzem o risco de frontrunning?"

Agostino Capponi (Columbia): "Os pools de transações privadas reduzem o risco de frontrunning?"

Agostino Capponi, pesquisador da Universidade de Columbia, investiga a questão do front running em exchanges descentralizadas e propõe pools de transações privadas como uma solução potencial. Esses pools privados operam fora da cadeia e separados do pool público, garantindo que os validadores comprometidos em não se envolver em front running os lidem. No entanto, Capponi reconhece que o uso de pools privados acarreta um risco de execução, pois nem todos os validadores participam do pool privado, o que significa que existe a possibilidade de que as transações passem despercebidas e não sejam executadas. É importante observar que a adoção de pools privados pode não necessariamente reduzir a taxa mínima de prioridade exigida para execução. Além disso, Capponi aponta que a competição entre os atacantes front-running beneficia os validadores por meio do valor extraível máximo (MEV). Em última análise, embora os pools privados possam mitigar o risco inicial, eles podem aumentar a taxa necessária para a execução, levando a ineficiências na alocação.

Capponi destaca a correlação entre a proporção de transações roteadas por pools privados e a probabilidade de serem front-run, o que complica a alocação ideal. Ele também explora diferentes tipos de ataques de front-running, incluindo ataques de supressão e deslocamento, e apresenta dados mostrando as perdas substanciais incorridas devido ao front-running. Para lidar com esses riscos, Capponi sugere educar os usuários sobre o tempo da transação e tornar a validação da transação mais determinística para criar um sistema mais equitativo.

A discussão aborda a dinâmica dos pools de transações privadas, os desafios da adoção e as possíveis compensações envolvidas. Capponi explica como os pools privados fornecem proteção contra front running, mas adverte que sua eficácia depende do número de validadores que participam do pool privado. Além disso, ele aborda a questão dos validadores que não adotam pools privados devido à perda do MEV, propondo possíveis soluções, como subsídios ao usuário para incentivar sua adoção.

Embora os pools de transações privadas possam mitigar os riscos iniciais até certo ponto, Capponi enfatiza que eles não são infalíveis e podem não atingir a alocação ideal. A complexidade surge de fatores como a competição entre atacantes, a taxa de adoção de validadores em pools privados e o impacto resultante nas taxas de execução. A discussão levanta considerações importantes para a comunidade blockchain ao lidar com os riscos iniciais e garantir um ambiente de troca descentralizado justo e eficiente.

• 00:00:00 Nesta seção, Agostino Capponi apresenta o tema das exchanges descentralizadas e os riscos de front running que elas enfrentam. Ele explica que a arquitetura blockchain funciona com as transações submetidas a um pool de memória que é acessado por validadores que anexam as transações aos blocos e recebem taxas dos usuários. Capponi observa que os usuários podem priorizar suas transações oferecendo taxas mais altas, mas esse sistema pode levar a um adiantamento. Ele apresenta o conceito de pools privados como uma possível solução para esse problema e discute como sua equipe construiu um modelo de teoria do jogo para testar a eficácia desses pools na mitigação do front running.
  
  
• 00:05:00 Nesta seção, Agostino Capponi descreve o problema de front running em blockchains de acesso aberto público, que permite aos usuários ver e enviar transações. Os ataques front running ocorrem quando os usuários tiram proveito de informações acionáveis sobre transações pendentes ou executadas. Capponi explica o ataque sanduíche, onde um invasor coloca uma taxa mais alta para executar a transação antes do usuário, fazendo com que o preço suba e, em seguida, executa uma transação reversa com lucro. Embora haja um risco de falha se a taxa do invasor não for alta o suficiente, os invasores geralmente cronometram seus pedidos para aumentar suas chances de sucesso.
  
  
• 00:10:00 Nesta seção, Agostino Capponi discute vários tipos de ataques front-running, incluindo ataques de supressão e ataques de deslocamento, nos quais um invasor envia várias transações ou desloca a transação de outro usuário para executar a transação desejada primeiro. Capponi questiona se o front running é um risco material que limita a adoção do blockchain e apresenta um gráfico mostrando o número de ataques front running e a receita gerada por eles de maio de 2020 a março de 2021, que indicam uma perda de aproximadamente 10.000 ethereum, ou US$ 125 milhões, dois para frente correndo.
  
  
• 00:15:00 Nesta seção, Agostino Capponi discute a questão do front running nas transações Ethereum e seus custos associados, diretos e indiretos. Ele explica que uma solução para esse problema é o uso de pools de transações privadas, que são essencialmente off-chain, canais paralelos separados do pool público e que só podem ser monitorados por alguns validadores. As transações enviadas a esses pools privados não têm risco inicial, desde que os validadores se comportem honestamente e, se forem consideradas transações front-running, serão ejetadas do pool. No geral, os pools de transações privadas fornecem uma boa solução para aqueles que estão preocupados com a execução antecipada e desejam que suas transações sejam executadas sem serem executadas antecipadamente.
  
  
• 00:20:00 Nesta seção, Agostino Capponi discute o uso de pools de transações privadas e se eles podem mitigar o risco de frontrunning. Capponi explica que os pools privados são visíveis apenas para validadores e estão fora da cadeia, o que significa que os invasores não podem acessá-los. Isso elimina a possibilidade de ser front-run e fornece garantias, pois os validadores se comprometem a não se envolver em front-running. Capponi também aborda a questão da adoção e se os usuários enviarão suas transações para o pool. Além disso, ele menciona como os invasores ainda podem competir entre si, mas o pool privado pode reduzir o risco de subinvestimento por bots de arbitragem. Finalmente, ele apresenta um modelo simples com três agentes para discutir se a adoção de pools privados será observada.
  
  
• 00:25:00 Nesta seção, Agostino Capponi discute o conceito de pools de transações privadas e se eles mitigam ou não os riscos iniciais. Ele explica que existem dois locais possíveis para o envio de transações: o pool privado e o pool público. Depois que os validadores definirem qual pool monitorar, os usuários baterão sua taxa de prioridade e escolherão para onde desejam enviar a transação. Os invasores irão, então, procurar oportunidades, enviar transações e decidir para onde enviá-las. Capponi enfatiza a importância da probabilidade na detecção de oportunidades e as probabilidades de alcançar um front-run bem-sucedido.
  
  
• 00:30:00 Nesta seção, o palestrante explica o conceito de pools de transações privadas e se eles podem mitigar os riscos de frontrunning. Os pools de transações privadas podem fornecer proteção contra riscos frontrunning, pois apenas o validador que anexa o bloco pode ver as transações, impedindo que outros árbitros identifiquem oportunidades antes do usuário. No entanto, enviar por meio de um pool privado apresenta um risco de execução, pois nem todos os validadores estarão no pool privado e há uma chance de que a transação não seja visível e, portanto, não seja executada. Embora as transações do pool privado tenham prioridade sobre as transações do pool público, o número de validadores que monitoram o pool privado afeta o risco de execução, tornando-se uma preocupação dos usuários considerar antes de enviar uma transação por meio do pool privado.
  
  
• 00:35:00 Nesta seção, Agostino Capponi explica que os pools de transações privadas podem mitigar os riscos iniciais até certo ponto, mas não são infalíveis. Os invasores se envolverão em uma corrida armamentista para obter prioridade na execução de seus pedidos e podem usar pools públicos e privados para reduzir o risco de execução, mas ainda receber execução priorizada. Enquanto isso, os usuários que podem ser front-run decidirão se enviarão suas transações ao pool privado ou ao pool público com base na taxa de adoção de validadores no pool privado e no custo de front-running. Se a taxa de adoção for alta, eles usarão o pool privado para evitar serem front-run, mas se for baixa, eles podem escolher o pool público para evitar esperar muitos blocos para execução, apesar do risco de serem front-run.
  
  
• 00:40:00 Nesta seção, Agostino Capponi explica como pools de transações privadas podem potencialmente mitigar o risco de front running. Se um usuário se submeter a um pool privado e todos os validadores ingressarem nesse pool, o risco inicial será eliminado porque não há oportunidade para arbitragem. No entanto, nos casos em que o risco de front running é baixo, nem todos os validadores adotarão o pool privado, o que significa que o usuário pode optar pelo pool público, expondo-se novamente ao risco de front running.
  
  
• 00:45:00 Nesta seção, Agostino Capponi discute se pools de transações privadas podem mitigar o risco inicial e reduzir a taxa mínima necessária para execução. Argumenta-se que o risco de front-running só é eliminado se a perda for grande e, mesmo assim, algumas perdas de front-running não podem ser eliminadas. Além disso, a competição entre atacantes front-running beneficia os validadores ou mineradores por meio do valor máximo extraível (MEV). A adoção de pools privados pode não necessariamente reduzir a taxa mínima de prioridade necessária para execução, pois os validadores só estão dispostos a adotar pools privados se puderem receber uma taxa mais alta. Além disso, a existência de um pool privado pode levar a uma maior demanda por espaço em bloco, o que aumentaria a taxa necessária para execução. Em última análise, os pools privados podem nem sempre reduzir o risco inicial, mas podem aumentar a taxa necessária para a execução, levando à ineficiência alocativa.
  
  
• 00:50:00 Nesta seção, o palestrante discute as ineficiências causadas por riscos front-running em blockchains. A primeira ineficiência resulta de usuários que podem decidir não enviar transações devido ao risco de serem front-run, o que pode levar a uma alocação de transações abaixo do ideal. A segunda ineficiência vem de ataques front-running, onde um invasor executa uma transação antes da vítima, resultando em uma transferência de valor. Para mitigar esses riscos, são propostos pools de transações privadas, que podem aumentar o valor das transações e ajudar os usuários a enviar sem medo de executar antecipadamente. No entanto, a adoção de pools privados por todos os validadores nem sempre é possível devido ao MEV ruim e à consequente perda de receita para os validadores.
  
  
• 00:55:00 Nesta seção, Agostino Capponi discute o problema dos validadores que não adotam os pools privados, mesmo que seja um resultado socialmente ideal. A razão é que eles perderiam seu MEV (Valor Extraível Máximo) e sem um benefício para eles, eles não mudariam. A solução seria os usuários do front runnable subsidiarem os validadores, comprometendo-se a pagá-los monetariamente equivalentes ao que teriam economizado se não fossem front run. Os dados indicam que, se a competição para ser o primeiro a executar é acirrada, a taxa de custo e receita dos invasores é substancialmente menor devido à adoção de pools privados de flash bot.

• 01:00:00 Nesta seção, Agostino Capponi discute sua pesquisa sobre pools de transações privadas e se eles mitigam o risco de frontrunning. Ele explica que, embora os pools privados possam oferecer alguma mitigação para grandes perdas iniciais, eles não são benéficos para os invasores que executam bots de arbitragem, pois podem piorar a situação. A probabilidade de ser frontrun pode ser estimada observando a derrapagem que a transação incorreria em comparação com o preço que precisa ser pago para frontrun. Capponi aponta que existe uma correlação positiva entre a probabilidade de ser frontrun e a proporção de transações que estão sendo roteadas por meio de pools privados. Ele conclui que os pools privados não podem atingir a alocação ideal, pois nem todos os validadores monitoram o pool, resultando em ineficiências, como risco de frontrunning ou espaço de bloco sendo alocado para uma transação frontrunnable.
  
  
• 01:05:00 Nesta seção, Agostino Capponi, da Columbia University, discute o uso de pools de transações privadas para evitar riscos front-running em blockchain, particularmente em Ethereum e Polygon. Ele também observa que atualmente existe uma entidade monopolista que recebe todas as recompensas do provedor, e a Ethereum está considerando soluções como a queima ou redistribuição do menor valor extraível (MEV) para evitar isso. Capponi também levanta a polêmica questão das armas de destruição matemática no contexto das transações de blockchain e a transferência de valor daqueles que não entendem a fórmula para aqueles que entendem.
  
  
• 01:10:00 Nesta seção, os palestrantes discutem a questão do front-running em pools de transações privadas e como isso pode impactar usuários não sofisticados, como escritórios familiares. Eles sugerem que, para tornar o sistema mais equitativo, é preciso haver uma maneira de educar esses usuários sobre como cronometrar melhor suas transações para evitar serem prejudicados. Eles também observam que os bots que se envolvem em front-running são extremamente sofisticados e usam algoritmos complexos para determinar a melhor maneira de executar transações enquanto geram o maior lucro. Os palestrantes sugerem que se o tempo de validação da transação fosse mais determinístico, seria mais fácil para os usuários cronometrar melhor suas transações e reduzir o risco de front-running.

[MetaQuotes]

Dr. Kevin Webster: "Obtendo mais por menos - melhor teste A/B via regularização causal"

Dr. Kevin Webster: "Obtendo mais por menos - melhor teste A/B via regularização causal"

Neste vídeo, o Dr. Kevin Webster investiga os desafios associados a experimentos de negociação e aprendizado de máquina causal, expandindo vários tópicos importantes. Uma questão importante que ele aborda é o viés de previsão na negociação, onde o retorno observado durante uma negociação é uma combinação de impacto de preço e movimento de preço previsto. Para mitigar esse viés, o Dr. Webster propõe duas abordagens: o uso de dados comerciais aleatórios e a aplicação de regularização causal. Ao incorporar o sinal de negociação que causou uma negociação no modelo de regressão, os vieses podem ser eliminados.

O Dr. Webster apresenta o conceito de gráfico causal, que envolve três variáveis: o alfa da negociação, o tamanho da negociação e os retornos durante a negociação. Ele afirma que estimar com precisão o impacto do preço é um desafio sem observar o alfa, e as técnicas tradicionais de econometria são insuficientes nesse aspecto. Ele destaca as limitações dos experimentos de negociação aleatória devido ao seu tamanho e duração limitados, enfatizando a necessidade de um design de experimento cuidadoso e estimativa de custo usando simuladores.

Para superar as deficiências da econometria tradicional, o Dr. Webster defende a regularização causal. Esse método, derivado da Amazon, utiliza dados tendenciosos para treinamento e dados imparciais para teste, resultando em estimadores de baixa variação e baixa tendência. Ele aproveita a riqueza de dados organizacionais disponíveis e corrige vieses, permitindo previsões mais precisas.

Estimar alfa sem conhecimento de seu impacto representa um desafio significativo, especialmente quando os dados comerciais carecem de confiabilidade. Dr. Webster sugere o uso de submissão aleatória de negociações para obter dados imparciais sem depender de tecnologia de preços. No entanto, essa abordagem requer a renúncia de uma grande fração de negociações para estabelecer um intervalo de confiança no alfa, o que pode não ser prático. Como alternativa, ele propõe alavancar o aprendizado de máquina causal para obter resultados semelhantes com menos dados. O aprendizado de máquina causal se mostra particularmente valioso em aplicativos de negociação, como análise de custo de transação, avaliação de impacto de preço e pesquisa alfa, superando a econometria tradicional devido à disponibilidade de dados comerciais profundos e tendenciosos.

O palestrante também aborda a importância da análise estatística no teste A/B, enfatizando a necessidade de definir o impacto do preço e anexar uma medida estatística para combater o viés de previsão. Sem abordar esse viés, a análise se torna subjetiva e dependente da interpretação individual. O Dr. Webster reconhece os desafios impostos pelos dados observacionais públicos e destaca os insights obtidos com os dados intervencionais. Embora responder à questão de qual abordagem adotar seja complexo, o teste A/B continua sendo uma prática comum nos setores bancário e de corretagem.

Por fim, o Dr. Webster discute brevemente a relação entre aprendizado de transferência e regularização causal. Embora ambos envolvam treinar um modelo em um conjunto de dados e aplicá-lo a outro, o aprendizado de transferência carece de uma interpretação causal. A analogia entre os dois está em seu processo de validação, com a validação cruzada desempenhando um papel fundamental. Apesar de suas semelhanças matemáticas, o Dr. Webster enfatiza a novidade da interpretação causal na abordagem.

• 00:00:00 Kevin Webster fala sobre experimentos de negociação ao vivo e aprendizado de máquina causal. Ele descreve um cenário em que um fundo de hedge negocia por meio de um corretor, que é responsável por executar a negociação e garantir a melhor execução, ao mesmo tempo em que prova que agiu no melhor interesse do cliente. O corretor enfrenta dificuldades porque seus clientes não negociam aleatoriamente com base nos sinais Alpha, e o retorno observado durante uma negociação é uma mistura de impacto de preço e movimento de preço previsto causado pela negociação. O Webster visa resolver esse problema usando regularização causal e propõe um modelo que aprende como o movimento de preço previsto está relacionado ao fluxo de pedidos.
  
  
• 00:05:00 O palestrante discute a distinção entre sinais alfa e impacto de preço, que são dois componentes dos retornos. Os sinais alfa prevêem os movimentos de preços que aconteceriam independentemente de as ações serem negociadas ou não, enquanto o impacto do preço descreve os movimentos de preços causados pela negociação. Os comerciantes usam back-knolls de preços para simular como os preços reagiriam a seus negócios e responder a cenários hipotéticos. No entanto, é difícil distinguir se os traders causaram um movimento de preço ou o previram, levando a um viés de previsão. Os dados proprietários do CFM e outras técnicas podem ajudar a eliminar os vieses e corrigir o viés de previsão considerando o sinal de negociação que causou uma negociação na regressão.
  
  
• 00:10:00 Nesta seção do vídeo, o Dr. Kevin Webster discute a questão do viés de previsão na negociação e como isso afeta os corretores e os pesquisadores alfa. Ele explica que, embora um pesquisador alfa possa ter o sinal alfa, ele pode não ter um bom modelo de impacto de preço, o que leva a uma superestimação do alfa. Por outro lado, se os corretores não conhecerem o alfa, eles negociarão muito lentamente para o cliente. O Dr. Webster propõe o uso de negociação aleatória, que é cara, ou regularização causal, um método que combina dados comerciais aleatórios e dados históricos de maneira inteligente para obter um desempenho melhor do que a econometria tradicional. Ele finaliza afirmando que vai comparar o desempenho desses métodos por meio de uma simulação.
  
  
• 00:15:00 O Dr. Kevin Webster discute três métodos de teste econométrico, enfatiza a importância da inferência causal e explica como ela já está sendo usada ativamente na indústria de tecnologia, particularmente na comunidade de aprendizado de máquina. Ele enfatiza ainda mais como essas empresas estão utilizando o aprendizado de máquina causal para permitir que suas equipes se alinhem rapidamente com base na verdade, eliminem a reinvestigação de descobertas surpreendentes, evitem a reexecução de experimentos defeituosos e evitem dúvidas sobre decisões cruciais. Os métodos do Dr. Webster utilizam uma combinação de testes causais e econométricos, permitindo previsões mais precisas com base em cinco vezes menos dados.
  
  
• 00:20:00 O autor propõe um gráfico causal para seu estudo que envolve três variáveis: alfa do negócio, tamanho do negócio e retornos durante o negócio. Ele assume que as características subjacentes de seus modelos Alpha impulsionam os diferentes movimentos de preços fundamentais no estoque, e seu algoritmo de negociação reage aos sinais Alpha, causando negociações. Ele também assume que os negócios causam movimentos de preços, conhecidos como impacto de preço. De acordo com o Dr. Webster, não importa qual técnica sofisticada de regressão os traders usem, eles não serão capazes de estimar o impacto do preço sem observar o Alpha. Os comerciantes podem estimar o impacto do preço ao randomizá-lo, o que é usado ativamente no setor financeiro e é conhecido como despesa de negociação aleatória. No entanto, seu uso é limitado apenas a ordens substantivas porque tais randomizações são caras.
  
  
• 00:25:00 O palestrante discute as limitações de experimentos de negociação randomizados em comparação com dados observacionais devido ao tamanho e duração limitados dos experimentos. Para um conjunto razoável de parâmetros, o conjunto de dados observacionais pode ser maior do que o conjunto de dados intervencionais, e os comerciantes devem projetar experimentos antes de implantá-los devido ao custo de cometer erros. O uso de um simulador para determinar o custo e o intervalo de confiança do experimento antes de enviar negociações aleatórias é crucial. Sem considerar o viés, ignorar Alfa resultará em alto viés e baixa variância.
  
  
• 00:30:00 O Dr. Kevin Webster explica as limitações da econometria tradicional e apresenta o conceito de regularização causal, que é um método que veio da Amazon e envolve o uso de dados tendenciosos como dados de treinamento e dados imparciais como dados de teste para ajustar metaparâmetros. O método garante um estimador de baixa variância e viés baixo, ao contrário dos métodos tradicionais que usam apenas uma pequena quantidade de dados experimentais. O algoritmo de regularização causal permite usar os grandes dados organizacionais disponíveis e corrigir quaisquer vieses para fornecer estimativas precisas para os comerciantes.
  
  
• 00:35:00 Nesta seção do vídeo, o Dr. Kevin Webster discute os desafios de estimar o Alpha sem saber o impacto quando não há confiança nos dados comerciais. Ele sugere uma solução em que as negociações não são enviadas aleatoriamente para obter dados imparciais, que são livres de modelo e não requerem tecnologia de precificação. No entanto, a desvantagem é que uma grande fração dos negócios precisa ser renunciada para obter um intervalo de confiança no Alpha, o que pode não ser prático para os traders. Ele então propõe um método de aprendizado de máquina para resolver esse problema e obter o mesmo resultado com menos dados. O aprendizado de máquina causal é aplicável a aplicativos de negociação, como análise de custo de transação, impacto de preço e pesquisa Alpha, e supera a econometria tradicional em regimes de dados de negociação devido à disponibilidade de dados de negociação profundos e tendenciosos.
  
  
• 00:40:00 O palestrante discute a incerteza fundamental envolvida no teste A/B e como a análise estatística desempenha um papel crucial em descobrir que a verdade básica é estatisticamente significativa, mas não no nível de comércio por comércio. Ele enfatiza que definir o impacto do preço e anexar um número estatístico a essa definição pode ajudar a combater o viés de previsão. No entanto, sem algo para combater o viés de previsão, a análise torna-se subjetiva e depende do olhar de quem vê. Dr. Webster também discute os desafios envolvidos em dados públicos observacionais e como os dados de intervenção podem fornecer mais informações sobre a análise. Ele reconhece que, embora seja uma pergunta difícil de responder, o teste A/B é uma transformação comum que muitos bancos e corretoras adotam.
  
  
• 00:45:00 O Dr. Kevin Webster discute brevemente a relação entre aprendizado de transferência e regularização causal. Ele observa que há uma analogia entre os dois, pois ambos envolvem treinar um modelo em um conjunto de dados e esperar que funcione bem em outro conjunto de dados. Embora o aprendizado por transferência careça de uma interpretação causal, a prova para o aprendizado por transferência funciona por causa da validação cruzada, que também se aplica à regularização causal. Apesar da semelhança matemática, Dr. Webster afirma que a interpretação causal da abordagem é bastante nova.

[MetaQuotes]

Yuyu Fan (Alliance Bernstein): "Aproveitando a mineração de texto para extrair insights"

Yuyu Fan (Alliance Bernstein): "Aproveitando a mineração de texto para extrair insights"

Yuyu Fan, pesquisador da Alliance Bernstein, fornece informações valiosas sobre a aplicação do processamento de linguagem natural (NLP) e aprendizado de máquina na análise de transcrições de chamadas de ganhos e geração de estratégias de negociação eficazes.

A equipe de Fan empregou várias técnicas, incluindo análise de sentimento, análise contábil e pontuação de legibilidade, para filtrar mais de 200 recursos extraídos de transcrições de teleconferências de resultados. Eles utilizaram modelos avançados como BERT (Representações de codificador bidirecional de transformadores) para avaliar o sentimento dos palestrantes, comparando o sentimento dos CEOs com o dos analistas. Curiosamente, eles descobriram que o sentimento do analista tende a ser mais confiável.

A análise foi conduzida em seções individuais e seções combinadas das transcrições, com a equipe descobrindo que uma abordagem orientada ao contexto supera uma abordagem ingênua baseada em palavras de fundo. O sinal de sentimento, especialmente para empresas de pequena capitalização dos EUA, teve um bom desempenho e foi recomendado pelas equipes de investimento.

Ao explicar a metodologia, Fan descreve como sua equipe usou triagem quantil e backtesting para avaliar o desempenho de diferentes recursos. Eles examinaram pontuações de sentimento com base em abordagens baseadas em dicionário, bem como abordagens baseadas em contexto usando BERT. A equipe também investigou as pontuações de legibilidade, que medem a facilidade de compreensão de um texto, concentrando-se nos comentários do CEO para identificar possíveis correlações com o desempenho da empresa.

Fan fornece informações sobre o funcionamento do BERT, destacando sua representação de codificador bidirecional que captura informações contextuais da esquerda e da direita de uma determinada palavra. A equipe ajustou o modelo BERT para análise de sentimento adicionando rótulos de sentimento por meio de auto-rotulação e conjuntos de dados externos. Suas descobertas indicaram que a análise de sentimento baseada em BERT superou a análise de sentimento baseada em dicionário, conforme demonstrado por exemplos de transcrições de chamadas de ganhos.

Além disso, Fan discute os desafios de definir limites de precisão para análise de sentimento e enfatiza que o desempenho prático pode não diferir significativamente entre os níveis de precisão. Ela destaca o sucesso de seu sinal de sentimento em empresas de pequena capitalização dos EUA, o que levou à sua recomendação pelas equipes de investimento. Fan também menciona a publicação de um artigo detalhando os recursos do NLP que podem servir como sinais quantitativos para a criação de estratégias de negociação eficientes, com esforços contínuos para aprimorar o modelo por meio do aumento de dados.

A discussão se expande para cobrir a correlação entre os recursos do NLP e os recursos tradicionais fundamentais e quantitativos, destacando a correlação moderada observada para legibilidade e contabilidade de sentimentos. Fan esclarece sua metodologia de retorno, incluindo a seleção de empresas com base nas últimas informações disponíveis antes do reequilíbrio.

No final, Fan aborda tópicos como arbitragem de CO2, a diferença entre BERT e FinBERT e o desenvolvimento de um modelo de uso financeiro para BERT especificamente adaptado para arquivamentos, ganhos e notícias relacionados a finanças. O processo de conversão de dados de áudio em transcrições para análise também é mencionado, com o uso de serviços de transcrição e soluções de fornecedores.

Em resumo, a pesquisa de Yuyu Fan mostra o poder da PNL e das técnicas de aprendizado de máquina na análise de transcrições de chamadas de ganhos. A aplicação de análise de sentimento, análise contábil e pontuação de legibilidade, juntamente com a utilização de modelos avançados como o BERT, permite a geração de estratégias de negociação eficientes. A abordagem baseada no contexto supera as abordagens ingênuas, e o sinal de sentimento se mostra valioso, principalmente para empresas de pequena capitalização dos EUA, conforme recomendado pelas equipes de investimento da Alliance Bernstein.

• 00:00:00 Yuyu Fan fala sobre o uso de processamento de linguagem natural (NLP) para analisar transcrições de chamadas de ganhos em finanças. As empresas usam chamadas de ganhos para compartilhar informações financeiras e comerciais com a comunidade de investimentos, e os analistas geralmente analisam as transcrições em busca de informações que possam afetar o desempenho das empresas e os preços das ações. No entanto, analisar transcrições manualmente para um grande universo de empresas é trabalhoso, e é aí que entram as técnicas de NLP e aprendizado de máquina. Essas técnicas provaram ser eficientes na análise de documentos financeiros e na formulação de estratégias de negociação eficientes. A pesquisa de Yuyu Fan se expande além dos testes típicos em grandes capitalizações dos EUA para incluir diferentes capitais de universo, incluindo pequenas capitalizações dos EUA e mercados emergentes. Além disso, a análise é feita em seções individuais, bem como nas seções combinadas das transcrições, e uma comparação sistemática mostra que a abordagem orientada ao contexto supera a abordagem ingênua de palavras de fundo.
  
  
• 00:05:00 Yuyu Fan discute os dados usados para sua análise de mineração de texto e explica a estrutura das transcrições das teleconferências de resultados, que são compostas de duas seções - a apresentação e a seção de perguntas e respostas. Eles geraram recursos de PNL em cada uma dessas seções individuais, bem como nas seções combinadas. As três categorias de recursos de NLP gerados são pontuações de sentimento, contabilidade e legibilidade. Eles também fornecem um método simples de back-testing para sua análise. Os recursos de sentimento são divididos em duas categorias, uma baseada em um dicionário e outra no contexto.
  
  
• 00:10:00 Yuyu Fan da Alliance Bernstein explica como eles usam a mineração de texto para rastrear mais de 200 recursos que são gerados para encontrar sinais de investimento robustos e de bom desempenho. Eles não consideram apenas a mineração de dados, mas também análises fundamentais e intuição econômica, bem como pesquisas anteriores. Eles classificam os componentes por valores de recursos e acompanham os retornos mensais de cada quantil para avaliar o desempenho. A primeira categoria é a contagem de palavras simples, e uma das características é a contagem de palavras de perguntas do analista, que geralmente tem desempenho consistente com sua expectativa anterior, exceto para mercados emergentes que têm comportamentos diferentes. Eles avaliam o desempenho usando métricas básicas como retorno anualizado e parede e descobrem que esse sinal é bom, não tão bom assim.
  
  
• 00:15:00 A palestrante explica o conceito das pontuações de legibilidade e como sua equipe as utiliza para analisar os comentários do CEO. As pontuações de legibilidade são uma métrica usada para medir o quão difícil é ler e entender um texto, levando em consideração o número de palavras difíceis e o comprimento da frase. Pontuações mais altas significam que o texto é mais difícil de entender e pontuações mais baixas significam que é mais fácil de compreender. A equipe de Fan usou um pacote Python de código aberto chamado "estatísticas de texto" para calcular as pontuações de legibilidade dos comentários do CEO, com a hipótese de que comentários mais fáceis de entender têm maior probabilidade de levar a um desempenho bom e transparente das empresas. A equipe então usou a triagem de quantis para avaliar diferentes recursos e recomendar os de melhor desempenho para as equipes de investimento.
  
  
• 00:20:00 Yuyu Fan da Alliance Bernstein discute como a análise de sentimentos pode ser usada para extrair insights das transcrições de discursos de CEOs. Fan explica que as pontuações de sentimento podem ser calculadas usando abordagens baseadas em dicionário, como o uso de dicionários genéricos ou proprietários que são projetados especificamente para pesquisa financeira. Os resultados mostram que a análise de sentimento com base no dicionário LM carrega mais sinal de investimento, especialmente para empresas americanas de pequena capitalização. O reequilíbrio mensal é usado e as empresas são classificadas por quintis setoriais neutros. Os resultados para cada quintil são mais diferenciáveis ao usar a análise de sentimento, indicando que um sentimento mais alto leva a um melhor desempenho.
  
  
• 00:25:00 Yuyu Fan da Alliance Bernstein explica como sua equipe utilizou a mineração de texto para extrair insights e avaliar o sentimento do orador. Eles analisaram as diferenças entre o sentimento do CEO e o sentimento do analista, descobrindo que o sentimento do analista pode ser um indicador mais confiável devido ao fato de os CEOs potencialmente distorcerem os resultados da análise em relação ao seu discurso. Eles também se aprofundaram na compreensão da linguagem natural, utilizando especificamente o modelo Transformer chamado BERT. O BERT utiliza representação de codificador bidirecional, o que significa que ele leva em consideração as informações circundantes à esquerda e à direita para prever melhor o significado de uma palavra específica dentro de seu contexto.
  
  
• 00:30:00 Yuyu Fan explica como o modelo BERT (Representações de codificador bidirecional de transformadores) funciona para análise de sentimento. A parte do codificador do modelo é usada para compreensão de linguagem lateral (compreensão de linguagem sem a necessidade de tradução). As incorporações desta parte do modelo podem representar informações de toda a frase e podem ser ajustadas para criar um modelo de classificação de sentimento. Usando modelos BERT pré-treinados e adicionando uma tarefa de classificação de sentimento downstream, o ajuste fino é muito mais fácil. Os rótulos de sentimento são adicionados por meio de auto-rotulação e recebem rótulos por meio de conjuntos de dados externos, e o modelo é treinado para prever pontuações de sentimento em uma faixa de -1 a 1. Finalmente, Fan mostra que a análise de sentimento baseada em BERT supera a análise de sentimento baseada em dicionário análise de sentimentos com exemplos de transcrições de chamadas de ganhos.
  
  
• 00:35:00 Yuyu Fan da Alliance Bernstein discute a mineração de texto e como um modelo BERT pré-treinado pode ser ajustado com sentenças de rótulos específicos para melhorar a classificação do texto financeiro. A ampla cobertura de vocabulário do modelo pré-treinado de tokens em inglês permite capturar combinações e gerar palavras, mas pode não capturar linguagem financeira específica. Quando perguntado sobre o desempenho em frases com palavras positivas e negativas, Yuyu Fan explica que a classificação pode depender da interpretação e expectativa do analista, mas a própria frase pode ser classificada como positiva se relatar um aumento de 10% na receita.
  
  
• 00:40:00 Yuyu Fan da Alliance Bernstein explica que é difícil ter um limite rígido para precisão na análise de sentimento. Embora possa fazer uma grande diferença na academia, em aplicações práticas, pode não fazer muita diferença, pois uma precisão de 90% e uma precisão de 92% podem levar a um desempenho semelhante quando agregadas ao nível da seção usando média ou desvio padrão. Fan explica que seu modelo tem cerca de 90% de precisão em todas as frases, e seu sinal de sentimento funciona bem em empresas de pequena capitalização dos EUA, tornando-o um sinal que suas equipes de investimento recomendam usar. Fan também compartilha que publicou um artigo com mais detalhes sobre os recursos do NLP que podem ser usados como sinais quantitativos para formar estratégias de negociação eficientes, e eles estão atualmente trabalhando no aumento de dados para melhorar o modelo.
  
  
• 00:45:00 Yuyu Fan, cientista de dados da Alliance Bernstein, discute como seus recursos de NLP se correlacionam com os recursos quantitativos e fundamentais tradicionais. Eles descobriram que as correlações são geralmente baixas, com legibilidade e contas de sentimento tendo correlação média em torno de 0,54 para momentum de grande capitalização. Ela também explica como eles medem a legibilidade usando pacotes como estatísticas de impostos e fazem personalizações para seu uso. Fan esclarece ainda mais sua metodologia de retorno, onde eles rastreiam os retornos de um mês e incluem apenas empresas com as informações mais recentes disponíveis antes do dia do rebalanceamento, normalmente após as chamadas de lucros trimestrais para grandes capitalizações. Por fim, ela aborda uma questão sobre arbitragem de CO2 e esclarece a diferença entre BERT e FinBERT, que eles usam em seu método.
  
  
• 00:50:00 Yuyu Fan discute o uso de mineração de texto para extrair insights. Ela menciona o desenvolvimento de um modelo de uso financeiro do modelo BERT, especificamente focado em registros, ganhos e notícias relacionadas a finanças. O modelo distingue entre versões pré-treinadas e aquelas que são ajustadas, com rótulos para probabilidades de saída positivas, negativas e neutras. Fan observa que a precisão do modelo varia em diferentes setores e eles estão explorando caminhos para aumentar os dados para melhorar a classificação de sentimentos para tópicos específicos. A seção termina com uma discussão sobre o processo de conversão de dados de áudio em transcrições para análise.
  
  
• 00:55:00 Yuyu Fan da Alliance Bernstein discute o uso de mineração de texto para extrair insights. A empresa usa SMT para dados de fornecedores de alta qualidade, bem como serviços de transcrição e soluções de fornecedores para colaborações. Eles também estão experimentando um modelo chamado Whisper da Open AI, que usa modelos de transformadores em larga escala para transcrição de áudio, incluindo transcrição multilíngue. No entanto, devido a limitações de tempo, a sessão de perguntas e respostas termina aí.

[MetaQuotes]

Ciamac Moallemi (Columbia): "Provisão de Liquidez e Criação de Mercado Automatizada"

Ciamac Moallemi (Columbia): "Provisão de Liquidez e Criação de Mercado Automatizada"

Nesta discussão abrangente, Ciamac Moallemi, professor da Universidade de Columbia, investiga os meandros da provisão de liquidez e da criação automatizada de mercado (AMM) de vários ângulos. Ele enfatiza a relevância dos AMMs para enfrentar os desafios computacionais e de armazenamento enfrentados pelas plataformas blockchain e sua capacidade de gerar retornos positivos para provedores de liquidez. Para ilustrar o conceito, Moallemi apresenta o custo de seleção adversa para volatilidade no UniSwap V2, revelando um custo anual de aproximadamente US$ 39.000 em um pool de US$ 125 milhões. Ele enfatiza a importância da volatilidade e do volume de negociação na determinação dos retornos do provedor de liquidez e elucida como os AMMs lidam com arbitradores e traders informados.

Moallemi destaca as vantagens de utilizar AMMs no blockchain e explora os papéis das funções de valor agregado e funções de ligação. Ele destaca a importância de cobrir os riscos e custos associados às estratégias de reequilíbrio. Além disso, Moallemi apresenta seu próprio modelo para provisão de liquidez e criação de mercado automatizada, comparando-o com dados reais do blockchain Ethereum. Ele discute como seu modelo pode melhorar potencialmente os AMMs reduzindo os custos pagos aos intermediários. Moallemi propõe várias abordagens para mitigar ineficiências causadas por preços abaixo do ideal, como utilizar um oráculo como fonte de dados e vender direitos de arbitragem a participantes autorizados, permitindo-lhes negociar contra o pool sem taxas.

Além disso, Moallemi elucida as vantagens dos AMMs em relação aos tradicionais livros de pedidos com limite, principalmente em termos de simplicidade e acessibilidade. Ele destaca como os AMMs nivelam o campo de atuação para participantes menos sofisticados, eliminando a necessidade de algoritmos complexos e recursos extensos. Moallemi conclui expressando otimismo sobre o potencial de melhores estruturas que beneficiam uma gama mais ampla de participantes, posicionando os AMMs como um passo na direção certa.

• 00:00:00 Nesta seção, Ciamac Moallemi, da Columbia University, discute a provisão de liquidez e a criação de mercado automatizada, com foco principalmente nos criadores de mercado automatizados no mundo das criptomoedas. Ele explica que o problema da negociação é amplamente resolvido por livros de ordens de limite eletrônico nas finanças tradicionais, mas há alguns problemas com a adoção dessa estrutura no atacado em criptografia. Moallemi discute os custos computacionais e de armazenamento do uso de blockchain para negociação e como os criadores de mercado automatizados podem resolver esses problemas usando algoritmos de precificação para cotar os preços de compra e venda de um ativo, fornecendo liquidez ao mercado.
  
  
• 00:05:00 Nesta seção, o palestrante discute os desafios de usar livros de ordens limitadas para negociação em um ambiente com altas taxas de atualização e computação e armazenamento limitados. A criação de mercado requer a participação de criadores de mercado ativos e pode ser difícil de inicializar no mundo das criptomoedas, principalmente para novos tokens. Para enfrentar esses desafios, as pessoas desenvolveram criadores de mercado automatizados (AMMs), que usam provedores de liquidez para colocar um pool de ativos como ETH e dólares americanos em um pool. Esses AMMs são computacionalmente eficientes e não requerem classificação ou comparação, tornando-os ideais para ambientes blockchain. Os provedores de liquidez recebem taxas para negociar contra o pool, e o preço é definido em função do que está no pool.
  
  
• 00:10:00 Nesta seção, Ciamac Moallemi discute a provisão de liquidez e a criação automatizada de mercado (AMM) da perspectiva dos provedores de liquidez, destacando os custos e benefícios do uso de sistemas AMM como o UniSwap. Moallemi explica que, embora os provedores de liquidez passiva possam ganhar taxas por meio de sistemas AMM, sempre há um custo para a criação de mercado, como a seleção adversa. Usando um exemplo concreto do UniSwap V2, Moallemi mostra que o custo de seleção adversa para volatilidade é tipicamente de três pontos básicos, resultando em um custo anualizado de cerca de 39k em um pool de US$ 125 milhões. Apesar do custo, Moallemi observa que os sistemas AMM podem gerar um retorno positivo para os provedores de liquidez, mas é essencial avaliar com precisão os riscos e custos envolvidos.
  
  
• 00:15:00 Nesta seção, Ciamac Moallemi, da Columbia University, discute o fornecimento de liquidez e a criação automatizada de mercado. Moallemi destaca os fatores por trás dos retornos dos provedores de liquidez, especificamente a importância da volatilidade e do volume de negociação. Ele também descreve um cálculo de fundo de envelope para a decomposição do retorno de LP, que inclui retorno de hedge, taxas de negociação e custo de alavancagem. Moallemi explica que o custo da alavancagem é um custo de seleção adversa decorrente dos preços estabelecidos em uma bolsa centralizada e negociação de AMMs a preços imprecisos, sofrendo derrapagem. Isso leva a oportunidades de arbitragem, com arbitradores lucrando com o pool, resultando em um jogo de soma zero. As diferenças entre traders informados e arbitradores também são discutidas.
  
  
• 00:20:00 Nesta seção, Ciamac Moallemi discute a dificuldade em medir a negociação informada e como a volatilidade ocorre, usando um modelo clássico de seleção adversa. Ele também fala sobre a interpretação de precificação de opções e a conveniência de trabalhar em tempo contínuo usando fórmulas de fórum fechado. Moallemi menciona outros tópicos populares no mundo da criação de mercado, como mercados de previsão e criadores de mercado automatizados. Ele então explica como o blockchain funciona como um computador, acompanhando as transições e pagamentos, sendo o Ethereum uma versão mais complexa e cara do sistema. Apesar de ser lento e caro, o blockchain ainda é uma parte vital dos mercados de negociação e previsão.
  
  
• 00:25:00 Nesta seção, Ciamac Moallemi discute a importância das finanças na utilização de computadores lentos, especialmente em cenários que requerem pequenas transações ou tarefas computacionais simples. Ele mostra um gráfico que reflete a porcentagem de recursos gastos no sistema Ethereum em aplicativos relacionados a finanças, sendo a negociação a maior subcategoria e o Uniswap sendo o protocolo ou contrato inteligente mais significativo. Embora a maior parte do comércio de criptomoedas ocorra em exchanges, exchanges descentralizadas como a Uniswap também são significativas, com um total de cerca de um trilhão de dólares negociados. Moallemi apresenta uma configuração de Black-Scholes de tempo contínuo com volatilidade estocástica como um modelo para negociar dois ativos, um ativo de risco denotado por "x" e um ativo sem risco chamado de numerário denotado por "y", com o preço de mercado sendo o preço do ativo arriscado em termos do numerador.
  
  
• 00:30:00 Nesta seção do vídeo, Ciamac Moallemi explica o conceito de provisão de liquidez e criação de mercado automatizada no setor financeiro e como eles funcionam. Ele fala sobre como os retornos desse processo são uma caminhada aleatória e como esse conceito é um modelo muito padrão em finanças. Ele então passa a explicar o conceito de um criador de mercado automatizado como um criador de mercado de função constante, onde a função é mantida constante pela função de ligação. Os provedores de liquidez contribuem com reservas e os traders só podem se mover para outro ponto da curva, o que mantém a função constante. A inclinação da linha diagonal dá o preço instantâneo. O mecanismo sabe que estoque possui para satisfazer a invariante e dizer sim ou não às negociações.
  
  
• 00:35:00 Nesta seção, Ciamac Moallemi discute os benefícios de usar a criação de mercado automatizada (AMM) no blockchain em oposição às trocas tradicionais como a Binance. Estar na blockchain permite diferentes serviços, como empréstimos garantidos ou otimização de portfólio, que não são possíveis nas bolsas tradicionais. Além disso, negociar na blockchain pode ser uma sub-rotina de um programa de computador, um recurso não disponível nas bolsas tradicionais. Embora as taxas para AMMs sejam proporcionais à quantidade, o nível do provedor de liquidez pode mudar ao longo do tempo, afetando a distribuição de taxas. O modelo de mercado envolve dois tipos de traders: arbitradores que monitoram constantemente a bolsa centralizada e mercado externo e traders de ruído que obtêm utilidade por estarem no blockchain. A análise assume provedores de liquidez constantes, pagamentos em dinheiro para taxas e ignora o tempo discreto versus contínuo no blockchain.
  
  
• 00:40:00 Nesta seção, Ciamac Moallemi explica o conceito de provisão de liquidez e criação automatizada de mercado. Ele usa o exemplo de trocar x por y e a parte mais lenta sendo a taxa na qual pode ser negociado. Ele descreve como o problema é melhor descrito movendo-se para variáveis duais que são preços que suportam hiperplanos. Ele explica que a função pool value é um objeto crítico, e a suposição é feita de que a função é suave e duas vezes continuamente diferenciável. Moallemi também discute o caso do produto constante e as propriedades da função de ligação, que os arbitradores são incentivados a equilibrar. Os arbitradores estão constantemente monitorando o mercado, deixando o menor valor no pool para ganhar o máximo de dinheiro possível.
  
  
• 00:45:00 Nesta seção, Ciamac Moallemi da Columbia University discute os principais ingredientes necessários para provisão de liquidez e criação de mercado automatizada, incluindo a estratégia de reequilíbrio e o uso de arbitragem. A estratégia de reequilíbrio envolve comprar e vender ativos de risco da mesma forma que os arbitradores, mas negociar na bolsa centralizada por preços de mercado justos. O teorema de perda de alavanca versus reequilíbrio caracteriza o processo como não negativo, não decrescente e previsível, mostrando que os valores de reserva do pool sistematicamente perdem dinheiro em comparação com a negociação na bolsa. Esses ingredientes-chave são importantes para a provisão efetiva de liquidez e criação de mercado.
  
  
• 00:50:00 Nesta seção, Ciamac Moallemi discute os riscos e custos associados à estratégia de reequilíbrio e como eles podem ser protegidos. Ele explica que a mudança instantânea no valor de uma carteira tem dois componentes: o primeiro componente é o risco de mercado, o que significa que está exposto ao mercado, enquanto o segundo componente é localmente sem risco e previsível, mas tem um custo operacional sistemático. Moallemi detalha ainda mais a fórmula da alavanca instantânea e como ela é afetada pela variação instantânea e pela quantidade de liquidez disponível no nível de preço atual. Ele também demonstra como a fórmula pode ser aplicada ao market maker constante do produto.
  
  
• 00:55:00 Nesta seção, Moallemi explica que o valor do pool nunca chegará a zero, mas pode se tornar menos valioso do que uma alternativa. A estratégia de reequilíbrio pode sistematicamente ganhar dinheiro ao longo do tempo, pois vende quando os preços sobem e compra quando os preços caem. Adicionalmente, Moallemi discute as hipóteses do modelo, afirmando que para as pools mais líquidas é razoável supor um mercado externo, mas para a cauda longa essa não é uma boa hipótese. No entanto, o modelo ainda é útil como modelo preditivo e fornece preços consistentes. Moallemi então explica uma maneira de usar o modelo como um modelo preditivo, observando as taxas cobradas pelo LP e a mudança no valor do pool, e protegendo o risco de mercado com negociações de reequilíbrio negativo em finanças.
  
  
• 01:00:00 Nesta seção, Ciamac Moallemi, da Universidade de Columbia, discute os resultados empíricos de seu modelo para provisão de liquidez e criação automatizada de mercado. Ele compara o lucro e a perda (P&L) cobertos de usar sua fórmula com os dados reais do blockchain Ethereum e descobre que eles estão próximos, indicando que seu modelo está correto. Ele então analisa a volatilidade diária e as flutuações de P&L de um exemplo de pool Uniswap com US$ 200 milhões em moedas. As flutuações do P&L são devidas ao risco de mercado, e Moallemi demonstra que elas podem ser protegidas usando sua fórmula, resultando em um retorno positivo e alto índice de Sharpe, mesmo que não seja necessariamente uma estratégia de ganhar dinheiro devido aos custos de negociação e financiamento. Ele sugere que essa ferramenta pode ser usada para melhorar os formadores de mercado automatizados, reduzindo os custos pagos aos intermediários.
  
  
• 01:05:00 Nesta seção, Ciamac Moallemi discute maneiras de mitigar as ineficiências causadas por preços ruins na provisão de liquidez e criação automatizada de mercado. Ele sugere usar um oráculo como fonte de dados para obter preços de bolsas como a Binance para incorporar preços externos em contratos inteligentes e evitar negociações fora do mercado. Além disso, Moallemi apresenta a ideia de vender direitos de arbitragem para participantes autorizados que podem negociar contra o pool sem pagar taxas, dando-lhes prioridade para aproveitar as menores discrepâncias de preços e ganhar dinheiro. Esses participantes devolveriam parte de seu lucro ao LPS para ajudar a mitigar preços ruins e garantir que tanto os LPs quanto os noise traders se beneficiem da estratégia. Moallemi também aborda questões sobre a implementação de AMMs para negociar na Binance e vender a descoberto nos mercados criptográficos. Ele observa que vender a descoberto pode ser caro devido aos custos de financiamento e que o volume e a volatilidade são altamente correlacionados, o que pode tornar arriscada a estratégia de ser longo em volume, mas vendido em volatilidade.
  
  
• 01:10:00 Nesta seção, Moallemi explica os problemas com o protocolo Requesting for Quote (RFQ) em contratos inteligentes, pois requer esperar a resposta de outros, o que quebra a atomicidade dos contratos inteligentes. No entanto, uma alternativa indireta popular, chamada de liquidez just-in-time, pode ser usada para antecipar e fornecer liquidez a grandes pedidos antes de serem processados. Moallemi também explica como os formadores de mercado tradicionais protegem seus riscos e mantêm ações por curtos períodos antes de vender, enquanto os provedores de liquidez também devem fazer hedge para gerenciar o risco de mercado. O modelo de pool de liquidez funciona melhor em criptomoedas porque possuem computadores lentos e um grande número de moedas disponíveis.
  
  
• 01:15:00 Nesta seção, o palestrante discute as vantagens dos criadores de mercado automatizados (AMMs) sobre os livros de pedidos limitados, principalmente em termos de simplicidade e acessibilidade. Eles explicam que a natureza complexa dos livros de pedidos com limite torna difícil para os criadores de mercado e até mesmo os comerciantes usá-los sem algoritmos e um exército de PHDs, criando um campo de jogo mais nivelado para investidores institucionais que também usam algoritmos. No entanto, os AMMs simplificam o processo, permitindo que os participantes médios se beneficiem sem a necessidade de amplo conhecimento ou recursos. O palestrante vê potencial para melhores estruturas que beneficiam participantes menos sofisticados, tornando os AMMs um passo na direção certa.

[MetaQuotes]

Andreea Minca (Cornell ORIE): Agrupamento de redes financeiras heterogêneas

Andreea Minca (Cornell ORIE): Agrupamento de redes financeiras heterogêneas

A professora Andreea Minca, renomada especialista na área de redes financeiras da Cornell ORIE, dedicou sua pesquisa a explorar as complexidades do agrupamento de redes financeiras heterogêneas. Ela apresenta um termo de regularização inovador para enfrentar os desafios únicos apresentados por essas redes, particularmente a presença de outliers com padrões de conexão arbitrários. Esses outliers prejudicam o desempenho dos algoritmos de agrupamento espectral e transformam o agrupamento em um problema computacional desafiador conhecido como problema combinatório NP-difícil.

Para identificar esses outliers com base em seus padrões de conexão, o Minca utiliza o modelo de bloco estocástico e o modelo de bloco estocástico corrigido por grau. Esses modelos oferecem garantias teóricas para recuperação precisa sem fazer suposições sobre os nós atípicos, exceto para saber seus números. A heterogeneidade inerente às redes financeiras complica ainda mais a detecção de outliers com base apenas nos graus dos nós.

Minca investiga o processo de particionamento da rede em clusters e outliers construindo uma matriz de partição e uma permutação de nós. Ela exemplifica essa abordagem aplicando-a para analisar o sistema bancário coreano. Além disso, a Minca emprega um amostrador de Gibbs para preencher lacunas na rede, permitindo uma alocação de risco eficiente e diversificação de investimentos agrupando portfólios sobrepostos com base em sua força e nível de sobreposição.

Em seu trabalho, Minca enfatiza a importância de gerar clusters que exibem interconectividade significativa, em vez de clusters sem conectividade. Ela propõe uma abordagem que oferece cinco alternativas para diversificação em uma estrutura de paridade de risco de cluster, destacando a necessidade de consideração cuidadosa ao usar algoritmos de clustering para alcançar a diversificação em redes financeiras. Minca aconselha quantificar o desempenho de algoritmos de agrupamento usando categorias de investimento padrão e enfatiza a importância da tomada de decisão informada ao utilizar essas técnicas.

No geral, a pesquisa da professora Andreea Minca fornece informações valiosas sobre as complexidades do agrupamento de redes financeiras heterogêneas, oferecendo abordagens inovadoras e soluções práticas para enfrentar os desafios associados a essas redes. Seu trabalho contribui para o avanço da análise de risco, seleção de portfólio e compreensão da dinâmica estrutural dos sistemas financeiros.

• 00:00:00 A professora Andreea Minca discute seu trabalho no desenvolvimento de algoritmos para agrupar redes financeiras com base em dois exemplos diferentes. O primeiro exemplo é sobre redes de carteiras sobrepostas com aplicações na seleção de carteiras, e o segundo exemplo é sobre a rede de exposições, que está relacionada à análise de risco sistêmico e entendimento do nível de risco na rede. O objetivo é combinar algoritmos de clustering com redes financeiras e criar clusters significativos que sejam vulneráveis à iliquidez ou inadimplência em uma instituição. Quanto maiores os clusters, maior o impacto potencial do estresse em um membro desse cluster, destacando a importância de entender as estruturas da rede financeira.
  
  
• 00:05:00 Andreea Minca discute os desafios de agrupar redes financeiras, que são comuns em todas as redes do mundo real. O problema de agrupamento existe porque os nós tendem a formar grupos onde a conectividade intragrupo é maior do que a conectividade intergrupo. Existem vários algoritmos de agrupamento, mas a heterogeneidade das redes financeiras representa um desafio, pois as redes financeiras exibem heterogeneidade em termos de graus, pesos e diferentes conectividades intercomunitárias. Além disso, a presença de outliers dificulta a aplicação de algoritmos prontos para uso, pois eles podem ter os mesmos padrões de conexão que os nós in-line, mas não podem ser tratados como um cluster por si mesmos. Vários problemas afetam o agrupamento de redes financeiras, dificultando a aplicação dos algoritmos existentes.
  
  
• 00:10:00 Andreea Minca da Cornell ORIE discute os desafios enfrentados ao agrupar redes financeiras heterogêneas e a introdução de um novo termo de regularização para superá-los. Um dos principais desafios é a presença de outliers que possuem padrões de conexão arbitrários e se comportam como adversários, dificultando o desempenho de algoritmos de agrupamento como o agrupamento espectral. O próprio problema de agrupamento é um problema combinatório NP-difícil, que pode ser relaxado para um programa semidefinido que possui algoritmos tratáveis. O objetivo é provar que certas condições são válidas para a recuperação dos clusters verdadeiros, e o termo de regularização introduzido penaliza outliers com padrões de conexão incomuns.
  
  
• 00:15:00 Andreea Minca discute a aplicação do modelo de bloco estocástico e do modelo de bloco estocástico com correção de grau para detectar padrões de agrupamento em redes financeiras heterogêneas. O objetivo é detectar outliers com base em seus padrões de conexão. As garantias teóricas fornecidas garantem a recuperação exata sem fazer suposições sobre os nós outliers, exceto para saber seus números. As condições de intervalo de densidade são baseadas na diferença entre a densidade de borda entre clusters e intraclusters. Os resultados são mais robustos do que a literatura anterior, pois são independentes do número de outliers e dependem apenas do número de inliers. A heterogeneidade nas redes financeiras dificulta a detecção de outliers com base em graus, pois os nós podem ter altos graus devido à estrutura dos nós no mesmo cluster.
  
  
• 00:20:00 Andreea Minca explica o conceito de heterogeneidade em redes financeiras e como isso afeta os algoritmos de agrupamento. Ela usa o exemplo do sistema bancário coreano para ilustrar como bancos e seguradoras do mesmo setor podem apresentar heterogeneidade e não devem ser classificados como outliers. Minca observa que a distribuição de grau de cauda pesada em redes financeiras requer uma análise cuidadosa dos padrões de conectividade e contribuições para os limites da faixa de grau de cada nó. Ela também enfatiza a necessidade de termos de penalidade no algoritmo que levem em consideração o grau, uma vez que uma penalização homogênea não pode ser usada para todos os nós. Finalmente, Minca descreve os fundamentos do modelo de clustering, que inclui a especificação de parâmetros de heterogeneidade e matrizes de conectividade para cada cluster.
  
  
• 00:25:00 Andreea Minca discute os desafios de clustering na presença de outliers ao usar métodos de clustering disponíveis no mercado. O objetivo de detectar outliers é emitir um alerta vermelho sem atrapalhar o agrupamento em si ou atrapalhar erroneamente a classificação de notas na camada. Ajustando a conectividade através dos parâmetros de heterogeneidade, a matriz de adjacência pode ser escrita de forma que corresponda à matriz de adjacência do primeiro outlier para encontrar a matriz de permutação que mapeia da imagem observada para a estrutura subjacente de clusters e outliers. Esses ajustes ajudam a acomodar muitas opções de modelagem em redes financeiras.
  
  
• 00:30:00 Nesta seção do vídeo, Andreea Minca explica o processo de encontrar uma matriz de partição e permutação de nós para identificar a estrutura de clusters e outliers em redes financeiras. O algoritmo é baseado em encontrar uma matriz de partição que indique quais nós pertencem ao mesmo cluster, enquanto entradas arbitrárias representam outliers. Para ilustrar o conceito, Minca mostra um exemplo de uma rede financeira coreana, onde o objetivo do algoritmo é determinar a correta identificação de cada setor presente na rede.
  
  
• 00:35:00 Andreea Minca, professora da Cornell ORIE, discute seu trabalho com a criação de redes semi-sintéticas e algoritmos de teste. Ela explica que cria uma rede com base nos dados publicados pelo Banco da Coreia sobre o tamanho dos ativos e passivos de todas as instituições financeiras e os conecta com base em um fluxo agregado de qualquer seguradora para qualquer banco. Ela então usa um algoritmo de maximização de modularidade para identificar quais instituições financeiras pertencem a qual setor com base no padrão de conectividade observado. O algoritmo também introduz um parâmetro de ajuste e uma restrição de matriz de partição para minimizar a diferença de modularidade.
  
  
• 00:40:00 Andreea Minca explica o desafio de procurar por matrizes de partição em clustering de redes financeiras heterogêneas, que é um problema intratável devido a uma restrição específica. Para contornar isso, introduz-se uma relaxação do problema onde as entradas da matriz estão entre 0 e 1, e é semi-definida positiva. A heterogeneidade do problema é abordada por meio de termos de penalidade, onde uma penalidade no termo diagonal penaliza potenciais outliers cujo grau está além da variação normal. Dois parâmetros de ajuste controlam a força da penalização diagonal e são determinados pelo grau observado dos nós, permitindo a identificação de outliers e aqueles com forte adesão à comunidade. O exemplo da indústria coreana usado no vídeo é um instantâneo das exposições na rede coreana e não há componente de série temporal.
  
  
• 00:45:00 Andreea Minca, da Cornell ORIE, discute o agrupamento de redes financeiras heterogêneas e como recriar redes de amostra consistentes com valores agregados usando um amostrador de Gibbs para preencher as lacunas. O desempenho do algoritmo pode ser testado por meio da taxa de erros de classificação e da probabilidade de recuperação, que tende a um a uma certa velocidade à medida que o tamanho da amostra aumenta. Usando o setor coreano como exemplo, Minca demonstra como a matriz de conectividade pode representar a probabilidade de conexão entre diferentes setores e como os resultados de agrupamento são obtidos a partir da matriz.
  
  
• 00:50:00 Andreea Minca discute o desafio de identificar o setor financeiro correto para cada instituição em uma rede com base em seus padrões de conectividade. Ela explica que um algoritmo deve ser robusto à heterogeneidade na conectividade e que as taxas de erros de classificação são usadas como critério de desempenho. Minca compara as taxas de erro de classificação do algoritmo que ela apresentou e outros algoritmos existentes, destacando que o algoritmo baseado em agrupamento espectral é o de pior desempenho. Isso enfatiza a necessidade de ajustar os algoritmos existentes para dar conta dos problemas que as redes financeiras encontram. Além disso, Minca aborda brevemente as aplicações do algoritmo na gestão de carteiras de investimentos. Ao recriar uma rede de portfólios sobrepostos, os pontos fortes de interação das instituições podem ser medidos com base em suas participações em portfólio e podem auxiliar na tomada de decisões de investimento.
  
  
• 00:55:00 Andreea Minca discute o algoritmo de agrupamento e como ele pode ser aplicado a portfólios financeiros sobrepostos para alocar riscos com eficiência e diversificar investimentos. Ao agrupar portfólios com base em sua força e nível de sobreposição, o algoritmo é capaz de recuperar cinco clusters que cresceram ao longo de uma década, indicando maior sobreposição. Isso fornece uma ferramenta para gerar clusters que são mais eficazes do que outros métodos de clustering existentes. Além disso, Minca discute como um algoritmo adicional preenche as lacunas do exemplo coreano e cria redes individuais consistentes com os dados agregados do governo.
  
  
• 01:00:00 Andreea Minca discute a questão de alcançar a diversificação por meio de algoritmos de agrupamento para redes financeiras. Ela mostra que ter um cluster com conectividade intercluster extremamente alta e outro sem conectividade não alcançaria a diversificação. Em vez disso, ela apresenta uma abordagem que identifica cinco alternativas para diversificação sob uma abordagem de paridade de risco de cluster. Ela também responde a perguntas sobre a pré-impressão de seu trabalho, a disponibilidade de uma ferramenta e a sensibilidade do algoritmo ao número de clusters, além de sugerir o uso de categorias de investimento padrão para quantificar o desempenho dos algoritmos de clustering.
  
  
• 01:05:00 Andreea Minca discute o tópico de algoritmos de agrupamento e recuperação de clusters, usando o exemplo de recuperação de cinco clusters de cinco estratégias de investimento. Ela também observa que pode ser difícil comparar os resultados de agrupamento de diferentes escolhas sem um bom conhecimento de domínio ou suposições sobre o número de agrupamentos. No entanto, não há resultados teóricos sobre esse assunto, o que destaca a importância de tomar decisões bem informadas ao usar algoritmos de agrupamento.