Обсуждение статьи "Добавляем пользовательскую LLM в торгового робота (Часть 1): Развертывание оборудования и среды"
По железу и ОС только общие слова, бенчмарк десктопных видях, но мобильных процов, абстрактный, а не применительно к задаче.
Такое ощущение, что статья сгенерена ИИ.
Комментарии, не относящиеся к этой теме, были перенесены в "Не по теме...".
Интересно, можно ли LLM сконвертировать в ONNX и сколько это будет весить :)
вроде можно
RWKV-4 весит меньше гига
homepage
GitHub - tpoisonooo/llama.onnx: LLaMa/RWKV onnx models, quantization and testcase
- tpoisonooo
- github.com
Download onnx models here: Model Precision Size URL Demo News Features Release LLaMa-7B and RWKV-400M onnx models and their onnxruntime standalone demo No or required Support memory pool, works on 2GB laptop/PC (very slow 🐢) Visualization . crashed on LLaMa model. LLM visualization tool must support nest or operator folding feature Quatization...
NVIDIA выпустила демоверсию бота Chat with RTX для локальной установки на Windows . Бот не имеет встроенной базы знаний и работает со всеми доступными данными на конкретном компьютере, плюс может обрабатывать содержимое YouTube видео по ссылкам. Для установки боту нужно не менее 40 Гб на диске, и GPU серии RTX 30/40 с минимум 8 Гб видеопамяти.
Такая новость проходила недавно
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Опубликована статья Добавляем пользовательскую LLM в торгового робота (Часть 1): Развертывание оборудования и среды:
Языковые модели (LLM) являются важной частью быстро развивающегося искусственного интеллекта, поэтому нам следует подумать о том, как интегрировать мощные LLM в нашу алгоритмическую торговлю. Большинству людей сложно настроить эти мощные модели в соответствии со своими потребностями, развернуть их локально, а затем применить к алгоритмической торговле. В этой серии статей будет рассмотрен пошаговый подход к достижению этой цели.
При локальном развертывании LLM очень важной частью является конфигурация оборудования. Здесь мы в основном обсуждаем массовые ПК и не рассматриваем MacOS и другие нишевые продукты.
Продукты, используемые для развертывания LLM, в основном включают в себя процессоры, графические карты, память и устройства хранения данных. Процессор и рафическая карта являются основными вычислительными устройствами для запуска моделей, а память и устройства хранения используются для хранения моделей и данных.
Правильная конфигурация оборудования может не только обеспечить эффективность работы модели, но и в определенной степени повлиять на ее производительность. Поэтому нам необходимо выбрать подходящую конфигурацию оборудования в соответствии с нашими потребностями и бюджетом.
Автор: Yuqiang Pan