Estudiamos ONNX para aplicarlo al trading - página 3

[MetaQuotes]

Tutorial-11 - Intercambio de redes neuronales abiertas

Demostración de PyTorch a Tensorflow | Tutorial-11 | Intercambio de redes neuronales abiertas | ONNX

El video demuestra cómo usar ONNX para convertir un modelo PyTorch al formato TensorFlow. El proceso implica entrenar el modelo en PyTorch, guardarlo en formato .pth y luego convertirlo a formato ONNX antes de convertirlo finalmente a formato TensorFlow. El proceso de conversión se muestra en detalle mediante el uso de un modelo de clasificación de dígitos escrito a mano con el conjunto de datos MNIST, y el modelo TensorFlow resultante se prueba con imágenes de muestra. El video también aborda brevemente la conversión de un modelo de Caffe2 a ONNX y sugiere que los usuarios exploren ONNX más a fondo.

• 00:00:00 En esta sección del video, el orador demuestra cómo convertir un modelo de Python a TensorFlow usando ONNX. Explican que al convertir modelos, se deben seguir dos pasos: primero, entrenar el modelo en el marco deseado y luego convertirlo al formato de archivo ONNX. A partir de ahí, se puede convertir al formato deseado, como TensorFlow o PyTorch. Luego, el orador muestra cómo usar los paquetes ONNX y TensorFlow para convertir un modelo de clasificación de dígitos escrito a mano de PyTorch a TensorFlow usando el conjunto de datos MNIST. Explican cada paso del proceso, incluida la instalación de los paquetes necesarios, la importación de bibliotecas, la definición del modelo y la creación de programas de capacitación y prueba.
  funciones El código del cuaderno se proporciona en la sección de recursos para que los usuarios lo sigan.
  
  
• 00:05:00 En esta sección del video, el presentador entrena un modelo PyTorch y lo guarda en formato de archivo .pth. A continuación, el modelo se carga y convierte a un formato de archivo ONNX. El modelo ONNX convertido luego se carga en TensorFlow para probar su funcionalidad en imágenes de tres.png y siete.png. El modelo predice los valores correctos para ambas imágenes. Finalmente, el modelo ONNX se convierte en un modelo TensorFlow y se guarda en un formato de archivo .pb, que se puede usar para predicciones adicionales. En general, el presentador demuestra cómo convertir modelos de PyTorch en modelos de TensorFlow con la ayuda de ONNX.
  
  
• 00:10:00 En esta sección del video, el orador analiza cómo se puede convertir su modelo de un modelo caffe2 a ONNX. El orador ha dado un enlace al cuaderno donde ya está escrito el código y todos los paquetes necesarios están disponibles. El orador explica que todas las conversiones posibles, como PyTorch a ONNX, PyTorch a Caffe2 y TensorFlow a ONNX, están disponibles en el portátil. El orador aconseja a los espectadores que exploren ONNX más a fondo y prueben ejemplos en tiempo real para una mejor experiencia de aprendizaje. Finalmente, el locutor finaliza el video y agradece a los espectadores por ver la serie.

[MetaQuotes]

Netron es una herramienta para ver modelos de redes neuronales, aprendizaje profundo y aprendizaje automático

[MetaQuotes]

Vistazo rápido a Netron

Vistazo rápido a Netron

En el video, el presentador brinda una descripción general de Netron, una herramienta para ver y analizar modelos de aprendizaje automático . Netron admite varios formatos y se puede instalar en múltiples plataformas. El presentador demuestra cómo iniciar Netron y navegar a través de varios modelos de ejemplo, destacando las capacidades y limitaciones de la herramienta. Si bien Netron es útil para explorar arquitecturas de red más simples, el presentador sugiere que podría beneficiarse de funciones adicionales para visualizar modelos más complejos. En general, el presentador recomienda Netron como una herramienta útil para examinar y comprender los modelos de aprendizaje automático.

[MetaQuotes]

Netron - Herramienta de visualización de red | Aprendizaje automático | Magia de datos

Netron - Herramienta de visualización de red | Aprendizaje automático | Magia de datos

Netron es una biblioteca de Python que ayuda a los usuarios a explorar y examinar visualmente la estructura y los parámetros de los modelos de aprendizaje profundo. Es una biblioteca de código abierto que proporciona modelos de muestra para el análisis y tiene un proceso de instalación simple. Con solo dos líneas de código, los usuarios pueden instalar Netron y usarlo para visualizar la estructura de la red neuronal, las funciones de activación, las capas de agrupación, las capas convolucionales y todos los atributos pasados en cada capa de un modelo de aprendizaje automático dado. Netron proporciona una interfaz fácil de usar que permite a los usuarios exportar visualizaciones como archivos PNG y explorar diferentes funciones y opciones.

• 00:00:00 En esta sección, aprendemos sobre Netron, una biblioteca de Python que nos ayuda a visualizar la estructura interna de los modelos de aprendizaje profundo. Podemos usar Netron para examinar las capas y los parámetros específicos de la red neuronal utilizados dentro de un modelo determinado. Netron es una biblioteca de código abierto que proporciona modelos de muestra para el análisis y tiene un proceso de instalación simple. Una vez instalado, los usuarios pueden importar la biblioteca de Netron y usar el método de "inicio" para pasar un archivo de modelo de aprendizaje automático. Luego, Netron creará una representación visual de la estructura del modelo, lo que permitirá a los usuarios explorar visualmente cada capa y sus parámetros.
  
  
• 00:05:00 En esta sección del video, el presentador demuestra cómo usar Netron, una herramienta de visualización de redes para modelos de aprendizaje automático. La herramienta puede visualizar la estructura de la red neuronal, las funciones de activación, las capas de agrupación, las capas convolucionales y todos los atributos pasados en cada capa de un modelo de aprendizaje automático determinado. Con solo dos líneas de código, la herramienta se puede instalar en una máquina local o se puede acceder a ella en línea en el sitio web netron.app. Los usuarios pueden exportar las visualizaciones como archivos PNG y explorar diferentes funciones y opciones disponibles en la interfaz de la herramienta.

[MetaQuotes]

Cómo usamos ONNX en Zetane para completar proyectos de aprendizaje automático más rápido con menos prueba y error

Cómo usamos ONNX en Zetane para completar proyectos de aprendizaje automático más rápido con menos prueba y error

Patrick Saitama, cofundador y CTO de Zetane Systems, analiza el valor de usar ONNX en el nuevo producto de su empresa para abordar problemas relacionados con el problema de la caja negra de la IA. El motor de Zetane permite la exploración e inspección de los modelos ONNX, lo que brinda información sobre la interacción del modelo con los datos y conduce a estrategias más decisivas para mejorar su calidad. El ejemplo dado muestra cómo el motor de Zetane ayudó a depurar un modelo de tren autónomo al inspeccionar la capa de radio y agregar más imágenes de túneles etiquetados como sin obstáculos. Zetane también incluye herramientas para inspeccionar dinámicamente los tensores internos y tomar instantáneas del modelo para su posterior investigación. Además, el nuevo motor de Zetane permite instalar modelos más grandes como YOLOv3.

• 00:00:00 Patrick Saitama, cofundador y CTO de Zetane Systems, analiza cómo extraer un mayor valor de ONNX para acortar el tiempo del ciclo de desarrollo y reducir las conjeturas. Su empresa, Zetane Systems, con sede en Montreal, lanzó recientemente un nuevo producto, que es independiente de la industria, y tiene como objetivo abordar algunos de los problemas relacionados con el problema de la caja negra de la IA. Al pasar datos de entrada a los modelos ONNX y luego proyectar los modelos en el motor Zetane, los modelos se pueden explorar e inspeccionar, incluida su arquitectura y gráfico de cálculo, así como todos los tensores contenidos en cada nodo del operador, para poder depurar y optimizar el modelo.
  
  
• 00:05:00 El orador analiza cómo el uso de ONNX en Zetane permite obtener información más profunda sobre el modelo y su interacción con los datos, lo que a su vez conduce a estrategias más decisivas para mejorar la calidad del modelo. El ejemplo dado es de un modelo de tren autónomo y cómo mirar la capa de radio en el motor sostenido mostró que el modelo estaba detectando el túnel como un obstáculo, lo que llevó a la adición de más imágenes de túneles etiquetados como sin obstáculos. Zetane también incluye herramientas para inspeccionar dinámicamente los tensores internos y tomar instantáneas del modelo en ciertos momentos para luego investigar y mejorar. Además, recientemente se lanzó el motor de detención, que permite la instalación de modelos más grandes como YOLOv3.

[MetaQuotes]

PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, Conversión de archivos modelo AI

[Video educativo] PyTorch, TensorFlow, Keras, ONNX, TensorRT, OpenVINO, AI Model File Conversion

El orador del video analiza las ventajas y desventajas de diferentes marcos de IA, como PyTorch, TensorFlow, Keras, ONNX, TensorRT y OpenVINO, y recomienda PyTorch como el marco preferido para la capacitación y la conversión de datos. El orador explica el proceso de conversión, incluida la conversión de modelos PyTorch a ONNX y luego a TensorRT u OpenVINO, y advierte contra el uso de archivos TensorFlow PB y Cafe. El orador también analiza la importancia de configurar correctamente el formato de punto flotante y recomienda usar FP 32 para la mayoría de los modelos. El video proporciona ejemplos de conversión de modelos y alienta a los espectadores a visitar el sitio web oficial para ver más videos educativos.

• 00:00:00 En esta sección, el orador analiza los diferentes marcos de IA, incluidos PyTorch, TensorFlow, Keras y Cafe, y explica el método preferido de su empresa para usar PyTorch para guardar el modelo como un archivo ONNX, que verifican dos veces con su conjunto de datos usando ONNX Runtime. Si se pasa la prueba, convierten el modelo ONNX a los formatos TensorRT y OpenVINO. El orador advierte contra el uso del archivo TensorFlow PB y Cafe y recomienda usar Python con datos originales y PyTorch para el entrenamiento. Por último, el ponente menciona que a veces los motores de inferencia necesitan que el punto flotante esté configurado correctamente.
  
  
• 00:05:00 En esta sección, el orador analiza cómo la elección del formato de coma flotante afecta la velocidad y la precisión de la conversión del modelo. Explica que si bien el uso de FP 16 puede aumentar la velocidad, puede conducir a una menor precisión, mientras que el uso de FP 64 da como resultado una velocidad más lenta pero una mayor precisión. El orador recomienda usar FP 32 para la mayoría de los modelos y analiza cómo se pueden usar diferentes formatos para tipos específicos de conjuntos de datos, como FP 32 y FP 64 para el análisis de imágenes médicas. También explica que convertir un modelo de FP 32 a FP 16 puede provocar una pérdida de precisión, que se puede mitigar mediante el uso de calibración, eliminación o reentrenamiento con FP 16 para mejorar la precisión del modelo.
  
  
• 00:10:00 En esta sección del video, el orador analiza las compensaciones entre velocidad, precisión e información de datos al usar diferentes marcos de IA como PyTorch, TensorFlow, Keras, ONNX, TensorRT y OpenVINO. El orador recomienda usar PyTorch y convertir los modelos de PyTorch a ONNX usando una solución provista. Luego, explican cómo convertir los modelos de ONNX a TensorRT utilizando otra solución provista. El orador demuestra el proceso de conversión ejecutando el código en Jupiter Lab y muestra cómo ubicar los archivos del modelo convertido.
  
  
• 00:15:00 En esta sección del video, el orador analiza la facilidad de convertir modelos de IA de PyTorch a ONNX y luego a TensorRT u OpenVINO, enfatizando que es un proceso simple. Sin embargo, para aquellos que usan TensorFlow o Keras, el orador recomienda usar PyTorch para volver a entrenar el conjunto de datos, ya que será más fácil hacer conversiones de modelos. El orador advierte que puede haber problemas al usar Keras, ya que los datos del archivo del modelo contienen solo parámetros, y es necesario construir primero la arquitectura de la red antes de importar el archivo de parámetros H5. El orador sugiere que la solución definitiva a tales problemas es Café, pero con los desarrolladores de Café migrados a Café 2 y nadie para mantenerlo, el orador recomienda usar PyTorch como marco principal de IA.
  
  
• 00:20:00 En esta sección, el orador analiza las ventajas de usar PyTorch y la facilidad de migración debido a su alta velocidad y arquitectura mejorada. El orador también brinda un ejemplo del uso de una solución para convertir un modelo de peso v3 en un modelo OpenVINO AIA y la solución más poderosa para la detección de objetos, Euro v4. Para usar el ejemplo, se requieren dos archivos para la conversión, un archivo de pesos Euro v4 CPP y un archivo de configuración de red Euro v4 CFG. Después de la conversión, se genera un archivo PTH de Haitatsu para usar en la imagen de inferencia para verificar los resultados. El orador recomienda usar Python para realizar el entrenamiento de IA y luego convertir a ONNX y luego a TensorRT u OpenVINO. Finalmente, el orador alienta a los espectadores a visitar el sitio web oficial para ver más videos educativos y convertirse en miembros gratuitos para recibir la lista de videos cada semana.

[MetaQuotes]

Novedades en tiempo de ejecución de ONNX

Novedades en tiempo de ejecución de ONNX

Esta charla compartirá los aspectos más destacados de los lanzamientos de ONNX Runtime 1.10-1.12, incluidos detalles sobre mejoras de rendimiento notables, características y plataformas, incluidas las móviles y la web. Ryan Hill ha estado con el equipo de AI Frameworks durante los últimos 4 años, donde ha trabajado principalmente en kernels de operadores, API de C y proveedores de ejecución de carga dinámica. Antes de esto, trabajó en el equipo de Office PowerPoint, donde su trabajo más visto son muchas de las transiciones de diapositivas. Por diversión, le gusta intentar usar las últimas características de C++ y detectar errores internos del compilador.

En el video, el ingeniero de software Ryan Hill analiza las diversas características y actualizaciones de ONNX Runtime, un tiempo de ejecución multiplataforma ampliamente utilizado que puede apuntar a múltiples arquitecturas de CPU. Destaca las últimas funciones agregadas a ONNX Runtime, como la capacidad de llamar directamente a los núcleos operativos y las mejoras de rendimiento, como el optimizador de transposición y la optimización de tamaño pequeño. Hill también habla sobre los proveedores de ejecución de ONNX Runtime, que permiten un rendimiento óptimo en varios hardware y el lanzamiento de paquetes móviles que admiten la conversión de NHWC en tiempo de ejecución. El video también cubre la compatibilidad con operadores sensibles al diseño, la compatibilidad con Xamarin para aplicaciones multiplataforma, la web de ONNX Runtime y la biblioteca de extensiones de ONNX Runtime que se enfoca en el trabajo de procesamiento previo y posterior del modelo, incluidas las conversiones de texto y las operaciones matemáticas, y actualmente se enfoca en Dominios de PNL, visión y texto.

• 00:00:00 En esta sección, Ryan Hill, un ingeniero de software que trabaja en ONNX Runtime durante aproximadamente cuatro años, analiza las características de ONNX Runtime y sus nuevos lanzamientos. Él destaca que ONNX Runtime es un tiempo de ejecución multiplataforma que puede apuntar a múltiples arquitecturas de CPU y tiene enlaces de lenguaje para varios lenguajes de programación. Es ampliamente utilizado por múltiples industrias, incluida Microsoft, que tiene más de 160 modelos en producción. Ryan también analiza las nuevas funciones agregadas en las últimas versiones, como la posibilidad de llamar a los núcleos operativos directamente desde fuera de una llamada de ejecución del modelo y la capacidad de alimentar inicializadores externos como matrices de bytes para la inferencia del modelo. Además, Ryan habla sobre las mejoras de rendimiento de la última versión, como un optimizador de transposición y una función de optimización de tamaño pequeño. Por último, destaca los proveedores de ejecución de ONNX Runtime que le permiten funcionar de manera óptima en varios hardware y la versión de sus paquetes móviles, que ahora admite la conversión de NHWC en tiempo de ejecución.
  
  
• 00:05:00 En esta sección, el video cubre las nuevas funciones y actualizaciones en ONNX Runtime, incluida la compatibilidad con el operador sensible al diseño y la compatibilidad con Xamarin para aplicaciones multiplataforma en Android e iOS. Además, la web de ONNX Runtime ofrece una única base de código C++, compilada en un ensamblado web, que es más rápida y usa menos memoria, y ahora hay una biblioteca de extensiones de ONNX Runtime que se enfoca en el trabajo de procesamiento previo y posterior del modelo, lo que permite a los usuarios hacer este trabajo completamente dentro de la llamada de ejecución del modelo. La biblioteca incluye conversiones de texto, operaciones matemáticas y actualmente se enfoca en dominios de NLP, visión y texto. El equipo de Microsoft Office está utilizando actualmente esta biblioteca de extensiones.

[MetaQuotes]

v1.12.0 ONNX Runtime: revisión de la versión

v1.12.0 ONNX Runtime: revisión de la versión

La versión v1.12.0 de ONNX Runtime (ORT) se enfoca en la inferencia, pero también incluye inversiones continuas en capacitación, con la integración con Hugging Face Optimum que da como resultado la aceleración de varios modelos de Hugging Face. Las nuevas funciones incluyen la capacidad de usar operaciones ORT nativas en operaciones personalizadas y llamar directamente a un operador nativo o de tiempo de ejecución sin crear un gráfico. El lanzamiento también incluye soporte para .NET 6 y la interfaz de usuario de aplicaciones multiplataforma (MAUI) y proveedores de ejecución para plataformas específicas como la Unidad de procesamiento neuronal en Android y Core ML en iOS. Se realizaron mejoras de rendimiento al reducir las asignaciones de memoria durante la inferencia y eliminar el registro innecesario. Se planean mejoras futuras para mejorar la localidad de caché y la utilización del grupo de subprocesos.

• 00:00:00 En esta sección, se analizan las nuevas funciones y actualizaciones de la versión 1.12 de ONNX Runtime. Estos incluyen la desaprobación de la compatibilidad con .net estándar 1.1 y la adición de compatibilidad con ONNX offset 17 y xml offset 3. Una característica nueva es la capacidad de invocar operaciones individuales sin crear un gráfico separado y la compatibilidad con la alimentación de inicializadores externos para la inferencia. también se añadió. Otras actualizaciones incluyen compatibilidad con python 310 y la habilitación de la compatibilidad con mac m1 en las bibliotecas de python y java, además de agregar compatibilidad con .net 6 maui en el paquete c-sharp. También se realizaron mejoras en el rendimiento y la cuantificación, y se introdujeron nuevos proveedores de ejecución, incluidos Qualcomm Snappy y la infraestructura general para el paquete de accidentes ep, con trabajo en curso para agregar más kernels para escenarios móviles y web.
  
  
• 00:05:00 En esta sección, el orador analiza las actualizaciones realizadas en ONNX Runtime (ORT) y menciona que el enfoque se ha centrado principalmente en la inferencia. Sin embargo, ha habido inversiones continuas en la formación de ORT para acelerar la formación de modelos grandes. La reciente integración con Hugging Face Optimum ha resultado en la aceleración de varios modelos de Hugging Face. Luego, el orador presenta a Randy, quien analiza una nueva característica que permite a los usuarios usar operaciones nativas de ONNX Runtime en operaciones personalizadas. Randy explica que esta característica surgió de las solicitudes de los clientes para hacer que los operadores personalizados sean más versátiles y de mayor rendimiento mediante el uso de las poderosas capacidades de cálculo matricial de ONNX Runtime.
  
  
• 00:10:00 En esta sección, el orador analiza una nueva característica que permite a los clientes llamar directamente a un operador nativo o de tiempo de ejecución sin crear un gráfico o algo similar, lo que facilita mucho la ejecución de funciones de cálculo matricial. Esta función se propuso a la comunidad porque otro grupo de clientes estaba trabajando en el procesamiento de audio y querían lograr la gestión de declaraciones, lo que significa que querían almacenar en caché algunas entradas o salidas anteriores, combinarlas con la entrada más reciente y alimentar al operador con una combinación alterada. aporte. Anteriormente, esto era difícil de lograr, pero con la nueva característica, los clientes pueden agregar un envoltorio alrededor del operador nativo de ONNX Runtime para realizar la gestión de estados de cuenta, facilitando sus vidas y logrando su propósito. Las muestras de cómo usar esta función están disponibles en el sitio web de la comunidad.
  
  
• 00:15:00 En esta sección, Scott McKay, líder de ONNX Runtime Mobile, analiza las nuevas funciones agregadas en v1.12.0 de ONNX Runtime. El lanzamiento incluye soporte para .NET 6 y la interfaz de usuario de aplicaciones multiplataforma (MAUI), lo que permite a los desarrolladores crear una aplicación utilizando una base de código compartida que puede ejecutarse en Android, iOS, macOS, Windows y Linux. ONNX Runtime también incluye proveedores de ejecución para plataformas específicas, como la Unidad de procesamiento neuronal en Android y Core ML en iOS, que pueden optimizar la velocidad de ejecución del modelo y la eficiencia energética. McKay explica que los desarrolladores pueden usar los mismos enlaces de C# para interactuar con la biblioteca ONNX Runtime en todos estos marcos, pero es posible que se requiera algún código específico de plataforma para manejar las diferencias en los tamaños de pantalla de los dispositivos y el procesamiento de imágenes. Para agregar ONNX Runtime a un proyecto .NET 6, los desarrolladores pueden usar el paquete microsoft.ml.onnxruntime y el paquete microsoft.ml.onnxruntime.managed, que proporcionan la implementación de C++ para ejecutar el modelo y los enlaces de C# para interactuar con el nativo. biblioteca.
  
  
• 00:20:00 En esta sección, el orador analiza la disponibilidad de ejemplos para que los usuarios aprendan a usar las nuevas bibliotecas. Hay un repositorio de Github que tiene una aplicación de Xamarin de ejemplo para demostrar la funcionalidad de la nueva versión. Además, el equipo actualizará la aplicación para incluir una aplicación de Maui que tendrá un diseño similar. Finalmente, la audiencia expresa interés en un tutorial detallado, ya que el nuevo soporte de Maui será muy útil y los ejemplos serían excelentes. El siguiente orador explica el concepto detrás de la extensibilidad del equipo de ONNX Runtime y brinda actualizaciones sobre los proveedores de ejecución. La actualización de esta sección se centra en la integración con el hardware a través de la interfaz del proveedor de ejecución. En esta versión, el equipo se centró en la inferencia de cargas de trabajo y la colaboración con proveedores como Nvidia, Intel y Qualcomm produjo muchas mejoras. Una mejora es una opción para compartir la memoria de contexto de ejecución que reduce la sobrecarga de acceder a múltiples subgráficos con TensorRT. Otra optimización se relaciona con el soporte de almacenamiento en caché del motor, donde la construcción de motores por adelantado reduce el tiempo para reconstruir motores en el momento de la inferencia.
  
  
• 00:25:00 En esta sección, se analiza la revisión del lanzamiento de ONNX Runtime v1.12.0, específicamente el proveedor de ejecución llamado Snappy, que significa Snapdragon Neural Processing Engine de Qualcomm. Este es el tiempo de ejecución de Qualcomm que se utiliza para acelerar las cargas de trabajo de IA en los SOC Snapdragon móviles. El soporte para Snappy es completamente nuevo y se anunció en la conferencia Microsoft Build del mes pasado. Junto con la compatibilidad con Snappy, Intel también comenzó a crear paquetes de Python que se alojan en PyPI con ONNX Runtime con OpenVINO habilitado. Esto facilita la configuración para los desarrolladores y permite una mejor compatibilidad con modelos con formas de entrada dinámicas. Los enlaces a la documentación y los ejemplos también se proporcionan en las notas de la versión.
  
  
• 00:30:00 En esta sección, Dmitry Smith, ingeniero de software principal de Microsoft, analiza las mejoras de rendimiento realizadas en la versión 1.12.0 de ONNX Runtime. Los clientes se habían acercado a Microsoft solicitando una latencia de CPU y un uso más bajos para la inferencia, lo que impulsó las mejoras. El equipo se centró en reducir las asignaciones de memoria durante la inferencia y eliminar el registro innecesario, con cambios realizados en la forma en que se escribió el código. Las mejoras dieron como resultado una latencia reducida en algunos escenarios por un factor de dos o más, y se planean mejoras adicionales, como mejorar la localidad de caché y la utilización del grupo de subprocesos para versiones futuras.

[MetaQuotes]

v1.13 ONNX Runtime: revisión de la versión

v1.13 ONNX Runtime: revisión de la versión

La versión 1.13 del tiempo de ejecución de ONNX se lanzó recientemente con parches de seguridad, correcciones de errores y mejoras de rendimiento. La actualización se enfoca en optimizar los modelos de Transformer para la cuantificación de GPU y agrega soporte para proveedores de ejecución directa de ML que son independientes del dispositivo y admiten más de 150 operadores. Además, el lanzamiento incluye actualizaciones de la infraestructura móvil ORT para compatibilidad con nuevos EPS, como el paquete XNN. También se analiza el uso de la cuantificación para mejorar el rendimiento de los modelos basados en Transformer, con la optimización del proveedor de ejecución CUDA para ejecutar el modelo BERT cuantificado y el uso de capacitación consciente cuantificada para maximizar la precisión mientras se optimiza el motor de ejecución de tiempo de ejecución ONNX.

• 00:00:00 En esta sección, el orador habla sobre la versión 1.13 recientemente lanzada del tiempo de ejecución de ONNX, que incluye parches de seguridad, correcciones de errores y mejoras en el rendimiento. La actualización se centró en optimizar los modelos de Transformer para la cuantificación de GPU y agregó soporte para proveedores de ejecución directa de ML. Esta última es una API de aprendizaje automático que admite más de 150 operadores diferentes y es independiente del dispositivo. El orador también menciona el nuevo proveedor de ejecución can EP, que fue aportado por Huawei para respaldar su hardware Ascend 310. Adicionalmente, se realizaron actualizaciones a la infraestructura móvil ORT, lo que permitió la compatibilidad con nuevos EPS como el paquete XNN.
  
  
• 00:05:00 En esta sección, los oradores analizan la versión v1.13 del tiempo de ejecución de ONNX y cómo funciona con cualquier GPU que admita hasta DirectX 12, lo que facilita la optimización para máquinas con Windows. También analizan los nuevos operadores y las actualizaciones de las compensaciones de ONNX en la versión 1.12. Los oradores destacan cómo la nueva versión ha ampliado el soporte para diferentes arquitecturas de modelos para que sea más fácil aprovechar el proveedor de ejecución dentro del tiempo de ejecución de ONNX. También analizan el nuevo proveedor de ejecución, Excellent Impact, y cómo llena las brechas de rendimiento en dispositivos móviles donde los núcleos escritos a mano no están disponibles. La función está actualmente habilitada para Android, pero el equipo busca agregar soporte para iOS y compilaciones de Xamarin o Maui en la próxima versión. Por último, analizan la nueva función de la versión denominada optimizaciones para la cuantificación del modelo BERT.
  
  
• 00:10:00 En esta sección, el orador analiza el uso de la cuantificación para mejorar el rendimiento de los modelos basados en Transformer, como BERT. Explican cómo optimizaron el proveedor de ejecución CUDA para ejecutar el modelo BERT cuantificado y el uso de capacitación consciente cuantificada para maximizar la precisión mientras optimizan el motor de ejecución de tiempo de ejecución ONNX. El orador proporciona ejemplos de cómo hacer un entrenamiento consciente cuantificado del modelo BERT y exportar el modelo con las herramientas disponibles en el tiempo de ejecución de ONNX para una mayor optimización. Al respaldar mejor el entrenamiento consciente cuantificado, el tiempo de ejecución de ONNX puede ofrecer una mayor optimización del rendimiento mientras mantiene la máxima precisión. Mencionan que después de que el usuario siga los ejemplos para exportar el modelo, las herramientas fuera de línea disponibles en la nueva versión del tiempo de ejecución de ONNX pueden optimizar el modelo para una mejor velocidad.

[MetaQuotes]

¿Qué es el tiempo de ejecución de ONNX (ORT)?

¿Qué es el tiempo de ejecución de ONNX (ORT)?

ONNX Runtime (ORT) es una biblioteca que optimiza y acelera la inferencia de aprendizaje automático, lo que permite a los usuarios entrenar sus modelos en cualquier biblioteca de aprendizaje automático compatible, exportar al formato ONNX y realizar inferencias en su idioma preferido. El orador destaca un ejemplo de realización de inferencias usando PyTorch con ONNX Runtime y señala que los usuarios pueden visitar ONNXRuntime.ai para explorar las diferentes API y herramientas necesarias para su configuración preferida.