Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
INT8 Исполнение обученных моделей с поддержкой квантования с использованием ONNX-TensorRT
INT8 Исполнение обученных моделей с поддержкой квантования с использованием ONNX-TensorRT
Дирадж Пери, инженер-программист по глубокому обучению в NVIDIA, объясняет основы квантования и то, как TensorRT поддерживает квантованные сети посредством различных слияний. Они сосредоточены на моделях, обученных с использованием платформы TensorFlow 2.0, и на том, как выполнять квантование после обучения (PTQ) и обучение с учетом квантования (QAT). Объясняется процесс развертывания модели, обученной с помощью набора инструментов квантования Nvidia TF2 с ONNX-TensorRT, и представлены результаты точности и задержки для различных моделей ResNet. В целом демонстрируется сквозной рабочий процесс QAT от TensorFlow до развертывания TensorRT через ONNX-TensorRT.
Практическое посттренировочное квантование модели ONNX
Практическое посттренировочное квантование модели ONNX
В видео обсуждается, как реализовать квантование, чтобы уменьшить размер модели TensorFlow до квантованной модели ONNX. Модель ONNX значительно меньше по размеру и может выполняться быстрее на ЦП. Автор предоставляет фрагменты кода и инструкции о том, как реализовать динамическое квантование и как проверить скорость процессора.
В видео показан процесс квантования модели машинного обучения, чтобы сделать ее быстрее и легче, при этом признается, что это может привести к снижению точности. Модели ONNX и TensorFlow сравниваются с квантованной моделью, причем последняя оказывается быстрее и легче. Однако квантовая модель не так сильно выигрывает от использования графических процессоров, как другие модели. Затем оценивается точность квантованной модели, и обнаруживается лишь незначительное падение. Также обсуждается процесс визуализации моделей ONNX с использованием приложения Loot Rodas Neutron. Общий процесс приводит к уменьшению размера модели с одного гигабайта до 83 мегабайт с минимальной потерей точности.
QONNX: предложение по представлению квантованных NN произвольной точности в ONNX
QONNX: предложение по представлению квантованных NN произвольной точности в ONNX
Докладчик обсуждает низкоточное квантование на примере его применения в беспроводной связи. Они предлагают QONNX, диалект для представления квантованных нейронных сетей произвольной точности в ONNX. QONNX упрощает представление квантования, расширяет его до более широкого набора сценариев и предлагает опции для различных типов округления и двоичного квантования. Он используется для развертывания на FPGA и интегрирован в библиотеку квантования Brevitas Python, а NQCDQ должен быть интегрирован в следующий выпуск.
GRCon20 — глубокое обучение в GNU Radio с ONNX
GRCon20 — глубокое обучение в GNU Radio с ONNX
В видео обсуждается использование ONNX в качестве открытого формата для интеграции глубокого обучения в качестве гибкого решения с открытым исходным кодом в области радиочастот. Спикер представляет свой новый модуль GR DNN DN4, который использует интерфейсы Python как для GNU Radio, так и для ONNX, и демонстрирует его возможности на примере автоматической классификации модуляции с использованием модели глубокой сверточной нейронной сети, обученной на смоделированных данных, сгенерированных GNU Radio. Они также обсуждают требования и проблемы использования глубокого обучения для классификации данных SDR с помощью модели BGG16 и предлагают использовать аппаратное ускорение, такое как GPU, для улучшения логических выводов и получения результатов в реальном времени. Проект с открытым исходным кодом, и сотрудничество приветствуется.