Discussão do artigo "Integre seu próprio LLM no EA (Parte 3): Treinando seu próprio LLM com CPU"

 

Novo artigo Integre seu próprio LLM no EA (Parte 3): Treinando seu próprio LLM com CPU foi publicado:

Com o rápido desenvolvimento da inteligência artificial hoje em dia, os modelos de linguagem (LLMs) são uma parte importante da IA, então devemos pensar em como integrar LLMs poderosos ao nosso trading algorítmico. Para a maioria das pessoas, é difícil ajustar esses modelos poderosos de acordo com suas necessidades, implantá-los localmente e depois aplicá-los ao trading algorítmico. Esta série de artigos adotará uma abordagem passo a passo para alcançar esse objetivo.

No artigo anterior desta série, discutimos a configuração básica do ambiente para executar grandes modelos de linguagem e rodamos uma instância simples de LLM usando llama.cpp no WSL. A parte mais emocionante é que, mesmo sem uma GPU poderosa, você ainda pode executar o exemplo apenas com um CPU! Esta série de tutoriais reduzirá os requisitos de hardware o máximo possível, esforçando-se para garantir que os leitores possam testar e verificar os exemplos sem serem impedidos por problemas de hardware. Claro, na parte de treinamento do nosso modelo, também introduziremos ramificações para diferentes plataformas de hardware, incluindo uma versão pura de CPU e uma versão que suporta computação acelerada por placas gráficas AMD, acreditando que todos poderão testar sem limitações de hardware.

Claro, você pode se perguntar: Modelos treinados com CPU são úteis? Qual é a importância de tais modelos? De fato, se você quiser treinar um modelo com funções complexas ou para resolver tarefas complexas usando um CPU, é bastante difícil, mas ainda é possível usá-lo para implementar algumas funções específicas e relativamente simples. 


Neste artigo, abordaremos como treinar um grande modelo de linguagem com CPU e criar um conjunto de dados financeiros necessário para o treinamento de grandes modelos de linguagem. Isso pode envolver conhecimentos mencionados em outros artigos meus, que não repetirei aqui. Se os leitores quiserem se aprofundar, leiam meus artigos relacionados, onde os links relevantes serão fornecidos.

Autor: Yuqiang Pan