Estudiamos ONNX para aplicarlo al trading - página 11

[MetaQuotes]

ONNX en MCU

ONNX en MCU

Rohit Sharma habla sobre los desafíos y oportunidades de ejecutar modelos ONNX en microcontroladores. Él enfatiza que si bien estos dispositivos carecen de los recursos de los servidores de alto rendimiento, ha habido un número creciente de aplicaciones de aprendizaje automático para dispositivos pequeños debido a la mejora en los recursos de hardware y los esfuerzos de la comunidad de IA para reducir el tamaño del modelo. Sharma analiza dos herramientas para implementar el aprendizaje automático en microcontroladores con facilidad: DeepSea, un compilador anticipado de código abierto que es compatible con Python y permite a los desarrolladores crear algoritmos de ML personalizados, y Canvas, una plataforma sin código/de código bajo que proporciona más de 70 pequeñas aplicaciones ML que se pueden personalizar para adaptarse al conjunto de datos del usuario. Brinda dos casos de uso para estas herramientas, incluido un guante portátil que traduce gestos de signos en palabras y detección débil de palabras para dispositivos asistidos por voz como Amazon Echo.

• 00:00:00 En esta sección, Rohit Sharma analiza los desafíos y las oportunidades de ejecutar modelos ONNX en microcontroladores, que son dispositivos diminutos que funcionan con baterías durante meses. Si bien estos dispositivos no tienen los recursos informáticos de los servidores de alto rendimiento con aceleradores o computadoras de placa única, el número cada vez mayor de aplicaciones de aprendizaje automático que se ejecutan en dispositivos diminutos se debe al hecho de que los proveedores de MCU continúan mejorando los recursos de hardware mientras la comunidad de investigación de IA está trabajando para reducir el tamaño del modelo. Sharma explica que todas las aplicaciones de aprendizaje automático diminutas son aplicaciones de inteligencia artificial de borde, pero no todas las aplicaciones de inteligencia artificial de borde son aplicaciones de aprendizaje automático diminutas, ya que la diferencia radica en el consumo de energía. Luego pasa a analizar el proceso de compilación de modelos ONNX con DeepSea, un marco de inferencia y compilador de bibliotecas de aprendizaje profundo de código abierto e independiente del proveedor que está diseñado para dispositivos de factor de forma pequeño, incluidos microcontroladores, IoT y dispositivos perimetrales.
  
  
• 00:05:00 En esta sección, el orador describe dos herramientas para implementar aprendizaje automático en microcontroladores con facilidad. La primera herramienta es DeepSea, un compilador anticipado (AOT) de código abierto que admite Python y permite a los desarrolladores crear algoritmos de aprendizaje automático personalizados. La segunda herramienta es Canvas, una plataforma sin código/de código bajo que proporciona una galería de más de 70 pequeñas aplicaciones de aprendizaje automático. Canvas permite la personalización de estas aplicaciones para crear un pequeño modelo de aprendizaje automático adecuado al conjunto de datos del usuario. El orador también proporcionó dos casos de uso para estas herramientas: un guante portátil que convierte gestos de signos en palabras habladas y detección de palabras débiles para habilitar dispositivos asistidos por voz como Amazon Echo.

[MetaQuotes]

Aproveche el poder del aprendizaje automático con ONNX - Ron Dagdag

Aproveche el poder del aprendizaje automático con ONNX - Ron Dagdag

En este video, Ron Dagdag profundiza en la importancia de los marcos de aprendizaje automático, particularmente ONNX, que facilita la interoperabilidad entre los marcos de aprendizaje profundo y la implementación. Describe las formas de obtener modelos ONNX, incluida la conversión de modelos existentes, la capacitación de modelos con el aprendizaje automático automatizado de Azure y el uso del servicio de visión personalizado de Azure. Dagdag enfatiza la decisión de implementar modelos de aprendizaje automático en la nube o en el borde, y sugiere aprovechar ONNX para que el proceso sea más fluido. Además, explica el proceso de uso de ML.NET de Microsoft para crear un modelo de aprendizaje automático y demuestra cómo incorporar el modelo ONNX en una aplicación utilizando el tiempo de ejecución de ONNX para la inferencia. Dagdag también explora ONNX como un estándar abierto para el aprendizaje automático, sus diversas plataformas y lenguajes, y herramientas para reducir el tamaño de los modelos.

• 00:00:00 En esta sección, el orador analiza cómo la programación tradicional difiere del aprendizaje automático, ya que el aprendizaje automático se enfoca en entrenar computadoras para aprender algoritmos, mientras que la programación tradicional se enfoca en la entrada y los cálculos. Los datos de entrenamiento son importantes en el aprendizaje automático y estos datos se utilizan para entrenar máquinas para aprender algoritmos como parte del proceso. El orador enfatiza la importancia de los marcos de aprendizaje automático, como ONNX (Open Neural Network Exchange), que sirve como puente entre los marcos de aprendizaje automático y la implementación. ONNX ayuda a mover modelos entre marcos de aprendizaje profundo, lo que garantiza la interoperabilidad entre marcos.
  
  
• 00:05:00 En esta sección, Ron Dagdag analiza las diferentes formas de obtener un modelo ONNX. Los científicos de datos, al igual que los chefs, son responsables de crear y refinar la receta para mejorar el modelo de una empresa, mientras que los modelos ONNX son como archivos PDF para la representación neuronal de un gráfico de operaciones. Hay cuatro formas de obtener modelos ONNX, incluso a través de GitHub, el servicio de visión personalizada de Azure, convertir modelos existentes y entrenarlos con el aprendizaje automático automatizado de Azure. El proceso para convertir modelos a ONNX es sencillo, ya que hay convertidores disponibles para cambiar modelos de TensorFlow, Keras o PyTorch a ONNX, con pasos importantes que incluyen cargar el modelo existente, realizar la conversión y guardarlo. En general, ONNX puede ayudar a las empresas a integrar el aprendizaje automático en sus aplicaciones de manera más fluida.
  
  
• 00:10:00 En esta sección, el orador analiza el uso de ONNX para modelos de aprendizaje automático. ONNX permite a los desarrolladores identificar cuáles son los datos de entrada y salida de sus modelos al visualizarlos. Se puede usar a través de la conversión de la línea de comandos y se puede escalar rápidamente con clústeres de GPU en la nube. ONNX también ofrece un registro de modelos que puede ayudar con el control de versiones de los modelos y ayudar con la implementación. El orador enfatiza la diferencia entre los científicos de datos y los ingenieros de software, donde el primero genera una receta secreta, mientras que el segundo descubre cómo ponerla en práctica integrándola con varias fuentes, obteniendo datos y creando canalizaciones. ONNX se puede implementar en varios dispositivos, incluidos dispositivos Windows y puntos finales de IoT.
  
  
• 00:15:00 En esta sección, el orador analiza la decisión de implementar modelos de aprendizaje automático en la nube o en el borde, que se refiere al procesamiento más cercano al usuario. Explica que la implementación en el borde puede ser más rentable, flexible y tener una latencia más baja, lo que es ideal cuando se procesan videos o imágenes. Además, la implementación hasta el borde puede ser necesaria cuando las reglas y regulaciones dictan que los datos no deben salir de una red o país en particular. El orador sugiere usar ONNX, un formato intermedio que puede convertir modelos de diferentes marcos de aprendizaje automático, para que el proceso de implementación sea más fluido.
  
  
• 00:20:00 En esta sección, el orador analiza el marco ONNX y sus posibles aplicaciones. ONNX permite la conversión de modelos a diferentes formatos, incluidos TensorFlow, Core ML y transferencia de aprendizaje, y tiene un tiempo de ejecución de alto rendimiento para ejecutar los modelos, llamado ONNX Runtime. ONNX Runtime es multiplataforma y admite operaciones tradicionales de aprendizaje automático. También tiene una versión GPU y una API C#. En general, ONNX es una herramienta poderosa para los desarrolladores, y los usuarios pueden comenzar a utilizarla a través del ecosistema ONNX mediante el uso de la instancia del contenedor docker. En su demostración, el orador muestra cómo descargar y usar diferentes paquetes ONNX en C# para manipular datos usando marcos de datos.
  
  
• 00:25:00 En esta sección, el orador demuestra el proceso de usar ML.NET de Microsoft para crear un modelo de aprendizaje automático simple que predice el salario en función de los años de experiencia. Primero divide los datos en conjuntos de entrenamiento y prueba, crea una canalización usando el contexto de ML y entrena el modelo usando el conjunto de entrenamiento. Luego evalúa las métricas del modelo y las guarda en un modelo ONNX. Luego, muestra cómo incorporar el modelo ONNX en una aplicación utilizando el tiempo de ejecución de ONNX para la inferencia. Finalmente, crea un contenedor de entrada para la aplicación y ejecuta el modelo para obtener la puntuación.
  
  
• 00:30:00 En esta sección, el orador analiza los beneficios de usar el tiempo de ejecución de ONNX, los diferentes equipos de Microsoft que lo han usado en el pasado y cómo mejora sus procesos. También habla sobre el uso de Windows ML si está implementando en dispositivos Windows, que está disponible en todos los dispositivos de la familia Windows en aplicaciones win32 y WinRT, y sobre la conexión del tiempo de ejecución de ONNX mediante API. Luego, el orador explora Direct ML, que es ideal para crear API de aprendizaje automático de alto control en tiempo real, y es mejor para juegos. También destaca ONNX JS para ejecutar modelos ONNX en el navegador o en nodejs, y Embedded Learning Library, que te permite comenzar a usar dispositivos que no tienen un sistema operativo completo o Linux Mac.
  
  
• 00:35:00 En esta sección, Ron Dagdag analiza el uso de ONNX como un estándar abierto para el aprendizaje automático y cómo se puede convertir de manera eficiente a diferentes plataformas. Los modelos ONNX se pueden crear en varios lenguajes, como dotnet, JavaScript y Python. El rendimiento se puede lograr mediante la implementación en la nube o en el perímetro. La audiencia hizo preguntas como, ¿puede importar su modelo ONNX en C#, cuál es la huella de memoria del tiempo de ejecución de ONNX y cómo puede convertir un modelo de imagen grande en un modelo ONNX más pequeño adecuado para dispositivos más pequeños? Dagdag sugirió usar poda o cuantización para comprimir los modelos y reducir su tamaño. También destacó que las diapositivas y los códigos de demostración están disponibles en el repositorio de GitHub, junto con la carpeta para probar el código.
  
  
• 00:40:00 En esta sección, el orador analiza el proceso de hacer que los modelos ONNX sean más pequeños en términos de tamaño. El modelo ONNX está compuesto por gráficos de operaciones que identifican qué operaciones puede realizar. Si bien es posible que no haya una forma específica de hacer que un modelo ONNX sea más pequeño, existe una utilidad que puede comprimirlo. Como es un software de código abierto, es posible que se lance una nueva característica en el futuro. Se alienta a los espectadores a enviar más preguntas a Ron a través del chat o del sitio web de preguntas y respuestas.

[MetaQuotes]

Aproveche el poder del aprendizaje automático con ONNX | Ron Lyle Dagdag | Conf42 Aprendizaje automático 2021

Aproveche el poder del aprendizaje automático con ONNX | Ron Lyle Dagdag | Conf42 Aprendizaje automático 2021

En este video, Ron Dagdag analiza los beneficios de usar ONNX (Open Neural Network Exchange) como un formato abierto para los modelos de aprendizaje automático, en particular cuando se implementan modelos en diferentes terminales, como teléfonos o infraestructura en la nube. Cubre los escenarios en los que la conversión de un modelo a ONNX puede ser útil, como el bajo rendimiento o la combinación de modelos entrenados en diferentes marcos, y describe cómo se pueden descargar modelos populares como RestNet en el formato ONNX. Además, analiza los beneficios de ejecutar modelos de aprendizaje automático en el borde, así como la importancia de administrar modelos registrándolos en la nube y versionándolos. Demuestra cómo convertir un modelo a ONNX y cómo usar el tiempo de ejecución de ONNX en Python para la inferencia, y concluye enfatizando el papel de ONNX para permitir que los científicos de datos y los ingenieros de software trabajen juntos de manera efectiva.

• 00:00:00 En esta sección, Ron Dagdag de Spacy presenta ONNX (Open Neural Network Exchange) como un formato abierto para modelos de aprendizaje automático que es capaz de manejar modelos de aprendizaje automático tradicionales además de redes neuronales. Él enfatiza que este formato cierra la brecha entre la fase de capacitación del aprendizaje automático y dónde implementar el modelo aprendido, que puede ser una variedad de puntos finales, desde teléfonos hasta infraestructura en la nube. ONNX se ha asociado con un número creciente de organizaciones, sobre todo Microsoft y Facebook.
  
  
• 00:05:00 En esta sección, el ponente describe la creciente popularidad de ONNX, un marco que permite que los modelos de aprendizaje automático entrenados en un lenguaje de programación se implementen en otro lenguaje o en un hardware diferente, así como las situaciones en las que puede ser útil para convertir un modelo a ONNX. Estos incluyen escenarios en los que hay una latencia alta o un rendimiento bajo, cuando se implementa en IoT o dispositivos perimetrales, o cuando se combinan modelos entrenados en diferentes marcos. El orador compara ONNX con un PDF en el sentido de que permite que los modelos se muestren en diferentes tipos de dispositivos y continúa explicando cómo se pueden crear modelos ONNX, incluida la exportación desde el zoológico de modelos ONNX o el uso de Azure Custom Vision.
  
  
• 00:10:00 En esta sección, el orador analiza cómo los modelos populares de aprendizaje automático, como RestNet, ya se han convertido a formatos ONNX que se pueden descargar fácilmente para su uso. También menciona cómo los modelos de redes neuronales se pueden convertir a ONNX usando herramientas como Torch y SKL o a través de la línea de comandos. Además, habla de Netron, una herramienta que visualiza modelos ONNX mostrando las entradas y salidas del gráfico de operaciones sin necesidad del código original del científico de datos. Finalmente, el ponente destaca la importancia de gestionar los modelos de aprendizaje automático registrándolos en la nube y versionándolos.
  
  
• 00:15:00 En esta sección, Ron Lyle Dagdag analiza la importancia de dónde implementar modelos de aprendizaje automático y los diferentes factores a considerar para la implementación. Explica que la implementación se puede realizar de varias maneras, como la implementación en la nube o la ejecución de inferencias en el perímetro, más cerca del usuario. Además, menciona la importancia de construir una imagen y crear una canalización para la implementación, que se puede realizar a través de un servicio o un contenedor Docker, y habla sobre la disponibilidad de imágenes de ONNX Docker que se pueden usar para incorporar ONNX en una aplicación.
  
  
• 00:20:00 En esta sección, el orador analiza los beneficios de ejecutar modelos de aprendizaje automático en el perímetro en lugar de en la nube. Una de las principales ventajas es la baja latencia, ya que ejecutar el modelo localmente en el dispositivo puede proporcionar tiempos de inferencia más rápidos. Otra ventaja es la escalabilidad, ya que puede ser más eficiente implementar el modelo en millones o miles de millones de dispositivos en lugar de enviar datos a la nube. El ecosistema ONNX se presenta como una solución para convertir modelos existentes a un formato que pueda ejecutarse en el perímetro utilizando diferentes aceleradores de hardware. El tiempo de ejecución de ONNX, un motor de inferencia de alto rendimiento para modelos ONNX, también se analiza como una solución de código abierto para ejecutar modelos en el perímetro.
  
  
• 00:25:00 En esta sección, el orador analiza el tiempo de ejecución de ONNX y cómo se puede usar con la plataforma de IA de Windows, como con la API de WinML, para una inferencia de API basada en modelos práctica y simple. Además, hay API de DirectML para crear juegos, una biblioteca de JavaScript llamada ONNX.js para ejecutar modelos en un navegador y varios modelos de controladores robustos según las capacidades del sistema. Luego, el orador procede a mostrar cómo convertir un modelo entrenado en ml.net en ONNX usando paquetes nuget y la aplicación C#.
  
  
• 00:30:00 En esta sección, Ron Lyle Dagdag demuestra un ejemplo simple de cómo crear un modelo de aprendizaje automático que predice el salario en función de los años de experiencia de un revisor en el uso de ml.net. Una vez que se entrena el modelo, se puede convertir en un modelo ONNX mediante la función `context.model.convert_to_onnx`. Luego, el modelo ONNX se puede verificar y usar para hacer inferencias en un cuaderno de Python usando la biblioteca de tiempo de ejecución de ONNX. La entrada y la salida del modelo se muestran usando `netron.app`.
  
  
• 00:35:00 En esta sección, el orador demuestra cómo usar el tiempo de ejecución de ONNX en Python para inferir un modelo creado en ML.NET y exportado a un archivo ONNX. El orador muestra cómo obtener el nombre, la forma y el tipo de las entradas y salidas del modelo ONNX y pasar los valores de entrada al modelo para la inferencia. El orador también enfatiza la importancia de usar ONNX como un estándar abierto para integrar modelos de aprendizaje automático en aplicaciones y cómo ONNX permite que los científicos de datos y los ingenieros de software trabajen juntos de manera efectiva. Finalmente, el orador ofrece un resumen de los puntos clave de la discusión, incluido cómo crear e implementar un modelo ONNX y las diversas plataformas que admiten la implementación de ONNX.
  
  
• 00:40:00 En esta sección, Ron Dagdag, ingeniero de software líder en Spacy y MVP de Microsoft, concluye el video agradeciendo a la audiencia y compartiendo formas de contactarlo si quieren saber más sobre el tiempo de ejecución de ONNX, las notebooks Jupyter y las panaderías. , panaderos y panes.

[MetaQuotes]

¡Inferencia en JavaScript con ONNX Runtime Web!

¡Inferencia en JavaScript con ONNX Runtime Web!

El video cubre el uso de ONNX Runtime Web en el navegador a través de una plantilla Next.js que ofrece una interfaz de usuario para ejecutar inferencias en imágenes preseleccionadas. Se demuestra el proceso de convertir datos de imagen a un tensor utilizando valores RGB y la creación de dimensiones. Se explora la función auxiliar del modelo, que pasa datos preprocesados a la sesión de inferencia de ONNX utilizando la ruta al modelo, el proveedor de ejecución y las opciones de sesión. Las fuentes para el modelo se crean usando el nombre de entrada y el objeto tensor y se pasan a la función session.run para obtener los cinco primeros resultados. El primer resultado completa la visualización de la imagen mientras se proporcionan la configuración del paquete web y las instrucciones para la inferencia del lado del servidor mediante ONNX Runtime Node.

• 00:00:00 En esta sección, aprendemos a usar ONNX Runtime Web con JavaScript en el navegador mediante una plantilla que proporciona todo el procesamiento previo necesario para realizar inferencias. La plantilla se basa en Next.js, un marco de React para crear aplicaciones listas para producción, y ofrece una interfaz de usuario simple para ejecutar inferencias en imágenes de muestra preseleccionadas. El autor nos lleva a través del código que configura un elemento de lienzo HTML para mostrar imágenes e informa varias estadísticas sobre la inferencia. Luego, la imagen se convierte en un tensor mediante la utilidad del asistente de imagen y luego se pasa a través de la función de predicción en el asistente del modelo que llama a la API web de ONNX Runtime para realizar la inferencia.
  
  
• 00:05:00 En esta sección, el video describe el proceso de convertir datos de imagen en un tensor para inferir usando valores RGB, remodelar y crear un tensor con datos y dimensiones usando el objeto tensor en ONNX Runtime Web. El video también explora la función auxiliar del modelo, que pasa datos preprocesados a la sesión de inferencia de ONNX brindándole la ruta al modelo, el proveedor de ejecución (WebGL o WebAssembly) y las opciones de la sesión. El nombre de entrada y el objeto de tensor ORT son necesarios para crear fuentes para el modelo, que se pasan a la función session.run para obtener el resultado. Se devuelven los cinco primeros resultados y el primer resultado se utiliza para completar la visualización de la imagen. Además, se proporciona una configuración de paquete web, junto con instrucciones para usar ONNX Runtime Node para realizar inferencias en el lado del servidor con un marco de API.

[MetaQuotes]

Ron Dagdag - Creación de redes neuronales en el navegador con ONNX

Ron Dagdag - Creación de redes neuronales en el navegador con ONNX

En este video, Ron Dagdag explica cómo se puede usar el marco de aprendizaje automático de ONNX para ejecutar redes neuronales en un navegador. Habla sobre los conceptos básicos del aprendizaje automático, la creación y la implementación de modelos ONNX y el entorno de tiempo de ejecución de ONNX. Dagdag demuestra el uso de ONNX con varios ejemplos, incluida la predicción de salarios en función de la experiencia laboral y la detección de emociones en imágenes. También cubre la implementación de modelos ONNX en diferentes plataformas, como Android e iOS, y destaca los recursos y demostraciones disponibles para experimentar con ONNX. Dagdag fomenta la experimentación con ONNX y enfatiza la importancia de la inferencia eficiente en las plataformas de destino utilizando el tiempo de ejecución de ONNX.

• 00:00:00 En esta sección, Ron Dagdag, director de ingeniería de software y MVP de Microsoft, analiza los conceptos básicos del aprendizaje automático y la diferencia entre la programación tradicional y el aprendizaje automático. Él explica que, en el aprendizaje automático, la entrada es seguida por un montón de ejemplos o respuestas y el objetivo es entrenar a la computadora para que cree un algoritmo para ti. También analiza ONNX, un marco de aprendizaje automático que está ganando popularidad entre los desarrolladores de JavaScript, ya que les permite hacer que las redes neuronales se ejecuten en el navegador.
  
  
• 00:05:00 En esta sección, Ron Dagdag analiza ONNX, un formato abierto para modelos de aprendizaje automático que sirve como puente entre la capacitación y la incorporación de modelos en las aplicaciones. ONNX no se limita a las redes neuronales, sino que también incluye el aprendizaje automático tradicional, está disponible en GitHub y cuenta con numerosos colaboradores. Está listo para la producción y optimizado para el uso de producción, lo que lo hace adecuado para dispositivos de borde con recursos limitados o dispositivos IoT. Además, ONNX permite combinar modelos creados en diferentes marcos, lo que la convierte en una excelente herramienta para colaborar con múltiples equipos que utilizan diferentes marcos de aprendizaje automático.
  
  
• 00:10:00 En esta sección, Ron Dagdag analiza el proceso de creación de un modelo ONNX y su implementación. Compara el proceso con hornear pan y afirma que al igual que hacer pan requiere una receta secreta, los científicos de datos experimentan con diferentes combinaciones para crear el modelo correcto que se ajuste al conjunto de datos específico. Dagdag explica que un modelo ONNX es un gráfico de operaciones que se puede visualizar mediante la aplicación Netron. Menciona tres formas de crear el modelo, incluido el uso del zoológico de modelos ONNX, el servicio de visión personalizada de Azure para la clasificación de imágenes y la conversión de un modelo existente. Dagdag sugiere que la forma más fácil de experimentar con un modelo es usar el servicio de visión personalizado, que permite cargar, etiquetar y usar un conjunto de datos para crear un modelo ONNX personalizado.
  
  
• 00:15:00 En esta sección, Ron Dagdag explica cómo convertir modelos de aprendizaje automático existentes en ONNX y guardarlos en archivos ONNX. Brinda ejemplos simples usando PyTorch y Keras, así como herramientas de línea de comandos para TensorFlow y Scikit-learn. También habla sobre la importancia de administrar y registrar los modelos para garantizar que se utilice la versión correcta en el proceso de implementación. Dagdag enfatiza que los ingenieros de software pueden empoderar a los científicos de datos al proporcionar las habilidades necesarias para integrar modelos de aprendizaje automático con aplicaciones existentes, haciéndolos así útiles para las organizaciones.
  
  
• 00:20:00 En esta sección, el orador analiza las opciones de implementación para redes neuronales, incluida la implementación en una VM o dispositivo como iOS o Android. También se destaca la diferencia entre la implementación en la nube y en el borde, usando la analogía de McDonald's horneando su pan en una fábrica versus Subway horneándolo en el restaurante. El tiempo de ejecución de ONNX se presenta como una herramienta de código abierto que se puede usar para inferir en modelos ONNX en JavaScript, Node y React Native. Luego, el orador brinda una demostración de cómo visualizar un modelo ONNX en una aplicación de nodo y menciona brevemente cómo entrenaron y convirtieron el modelo a ONNX usando .NET interactivo y un cuaderno de Python.
  
  
• 00:25:00 En esta sección, Ron Dagdag explica cómo crea un modelo ONNX a partir de sus paquetes NuGet para entrenar un modelo usando Microsoft ML. Utiliza datos proporcionados por Microsoft que predicen un resultado basado en un factor de entrada; en este caso, la experiencia del usuario y el salario en función de los años de experiencia. Una vez que ha entrenado el modelo, genera un archivo ONNX, que luego integra en una aplicación de JavaScript creando una sesión y pasando las fuentes. Una vez que los feeds están configurados en la sesión, lo ejecuta y usa la partitura. salida para mostrar los resultados de la predicción. Dagdag usa ONNX Runtime Node para el entorno de tiempo de ejecución para ejecutar la aplicación de JavaScript.
  
  
• 00:30:00 En esta sección, Ron Dagdag explica cómo ejecutar modelos de aprendizaje automático en el navegador usando ONNX runtime web, que es una biblioteca de ejecución de JavaScript que usa ensamblaje web y tecnologías webGL. La ejecución de modelos en el navegador es más rápida, segura y económica, ya que se ejecuta localmente y no depende de una conexión a Internet. Ron también explica que no debe ejecutar modelos grandes en el navegador y muestra cómo ejecutar un modelo ONNX existente en una red neuronal utilizando un ejemplo simple en el que usa la entrada para pasarla al modelo y obtiene un resultado de predicción.
  
  
• 00:35:00 En esta sección, Dagdag demuestra el proceso de creación e integración de un modelo ONNX en un navegador. Utiliza un modelo ONNX capaz de distinguir emociones de una imagen en escala de grises de 64x64 como ejemplo. Para usar el modelo en una imagen, Dagdag primero cambia el tamaño y preprocesa la imagen, luego la convierte en un tensor. Carga el modelo ONNX en tres pasos, crea una sesión, alimenta la entrada al modelo y procesa la salida para mostrar las emociones detectadas en la imagen. Dagdag señala que el proceso de integración de ONNX con una aplicación de navegador implica crear una sesión, pasarla a session.run y procesar la salida.
  
  
• 00:40:00 En esta sección, Ron Dagdag analiza los diferentes recursos y demostraciones disponibles para experimentar con ONNX, como la demostración MNIST que permite a los usuarios dibujar un número para ver si el modelo puede clasificarlo con precisión. También menciona que ONNX se puede usar con React Native en las plataformas Android e iOS, pero debe convertirse a un formato optimizado para dispositivos móviles. ONNX es compatible con varias plataformas como Windows 10, Mac, Ubuntu, iOS, Android y se puede usar con webassembly o webgl. Ron enfatiza la importancia de usar el tiempo de ejecución de ONNX para ejecutar el modelo de manera eficiente en la plataforma de destino y separar lo que se usa para entrenamiento e inferencia. También menciona que ONNX se puede implementar con Windows ML, Azure ML y se puede usar con JavaScript y Python. Ron concluye diciendo que ONNX es capaz de ejecutarse en diferentes dispositivos, como las gafas Snapchat AR, y alienta a los espectadores a experimentar con ONNX utilizando los recursos y las demostraciones disponibles.

[MetaQuotes]

Hacer que las redes neuronales se ejecuten en el navegador con ONNX - Ron Dagdag - NDC Melbourne 2022

Hacer que las redes neuronales se ejecuten en el navegador con ONNX - Ron Dagdag - NDC Melbourne 2022

Ron Dagdag comparte su experiencia en hacer que las redes neuronales se ejecuten en navegadores con ONNX. Habla sobre los conceptos básicos de la programación y cómo se diferencia del aprendizaje automático, la disponibilidad de JavaScript y los marcos de aprendizaje automático, y cómo los modelos de aprendizaje automático pueden ejecutarse en diferentes dispositivos, incluidos teléfonos, IoT y la nube. Presenta ONNX, que es un formato abierto para modelos de aprendizaje automático que puede integrar modelos creados en diferentes marcos con aplicaciones existentes en diferentes lenguajes de programación. Dagdag demuestra cómo crear, administrar e implementar modelos ONNX, incorporando el tiempo de ejecución ONNX, ensamblaje web y tecnologías web GL para ejecutar modelos ONNX en navegadores mientras optimiza el rendimiento, la seguridad y el costo. El video también cubre la puntuación de modelos preentrenados en dispositivos móviles, consideraciones de costos y los beneficios de ejecutar la detección de objetos más cerca del borde para el procesamiento local de grandes cantidades de datos.

• 00:00:00 En esta sección, Ron Dagdag explica los conceptos básicos de la programación y en qué se diferencia del aprendizaje automático. Habla sobre los datos de entrenamiento y el marco necesarios para crear un modelo, que se utiliza en la inferencia. También señala la disponibilidad de varios marcos de JavaScript y aprendizaje automático. Finalmente, enfatiza que los modelos de aprendizaje automático pueden ejecutarse en diferentes dispositivos, incluidos teléfonos, IoT y la nube, y también pueden convertirse en un circuito de retroalimentación para mejorar el modelo.
  
  
• 00:05:00 En esta sección, el orador presenta ONNX (Open Neural Network Exchange), que es un formato abierto para modelos de aprendizaje automático que es de código abierto en GitHub. ONNX permite la integración de modelos de aprendizaje automático creados en diferentes marcos, como PyTorch y Keras, con aplicaciones existentes en diferentes lenguajes de programación, como C#, Java y JavaScript. El uso de ONNX es particularmente útil cuando necesita una alta latencia de inferencia y resultados rápidos, especialmente cuando se ejecuta en IoT o dispositivos perimetrales. Además, ONNX permite combinar diferentes modelos y entrenar localmente en lugar de enviarlo de forma remota. La agenda de la sesión incluye la creación de modelos ONNX y su implementación.
  
  
• 00:10:00 En esta sección, el orador analiza diferentes formas de crear un modelo ONNX para la implementación. Una forma es a través del modelo Zoo de ONNX en GitHub, donde los modelos existentes basados en la clasificación de imágenes, entre otros, ya están disponibles para su descarga gratuita. Otra forma es a través del servicio Custom Vision de Microsoft, donde se puede cargar, etiquetar y entrenar una imagen o conjunto de datos para crear un modelo personalizado que se puede exportar a un modelo ONNX. La conversión de modelos existentes es otra opción, que se puede realizar mediante bibliotecas o herramientas como la biblioteca PyTorch o las herramientas ONNX ML. El orador enfatiza la importancia de un científico de datos para experimentar y descubrir el mejor enfoque para crear el modelo más efectivo para los datos de una empresa.
  
  
• 00:15:00 En esta sección, Ron Dagdag explica el proceso de creación y administración de modelos de aprendizaje automático mediante Azure Machine Learning, donde los modelos se pueden registrar y administrar como un repositorio de Github para cambios de código. También demuestra cómo crear un modelo ML usando ml.net en Visual Studio Code y cómo exportarlo a ONNX usando una interfaz de línea de comandos, que genera un archivo model.onnx que se puede abrir en la aplicación ONNX netron.
  
  
• 00:20:00 En esta sección, Ron Dagdag explica cómo implementar modelos ONNX una vez creados. Explica que la implementación es crucial para integrar los modelos con las aplicaciones, y los desarrolladores deben considerar si ejecutan el modelo en la nube o en el perímetro. Cuando se ejecuta en la nube, los desarrolladores deben decidir en qué centro de datos implementarlo, mientras que la implementación en el borde significa que el modelo se ejecuta más cerca del usuario, como en un teléfono o navegador. Dagdag señala las ventajas de ejecutar el modelo en el borde, como la flexibilidad y la importancia de crear sistemas para recaudar dinero o pasar datos para procesar y crear reglas comerciales.
  
  
• 00:25:00 En esta sección, el orador habla sobre el tiempo de ejecución de ONNX, un motor de inferencia de alto rendimiento para los modelos de ONNX que es de código abierto y totalmente compatible con las especificaciones de ONNX ML. El tiempo de ejecución de ONNX permite a los desarrolladores seleccionar varias plataformas y arquitecturas para ejecutar sus modelos, incluido el navegador web, iOS, Android, Mac y diferentes API. El orador demuestra cómo usar el tiempo de ejecución de ONNX con node.js y webassembly para cargar un modelo ONNX en la memoria, pasar datos de entrada y obtener la salida. También explican cómo el tiempo de ejecución de ONNX permite un procesamiento eficiente al pasar solo los datos necesarios para el cálculo e ignorar el resto.
  
  
• 00:30:00 En esta sección, Ron Dagdag explica cómo incorporar un nodo, creado con ml.net y exportado a ONNX, en una aplicación de JavaScript que se ejecuta en el lado del servidor. Al utilizar las tecnologías webassembly y webgl, el modelo ONNX puede ejecutarse tanto en la CPU como en la GPU, lo que da como resultado un rendimiento más rápido, mayor seguridad, uso sin conexión y costos reducidos. Si bien la incorporación del modelo en el navegador tiene muchos beneficios, los tamaños de modelo grandes y los requisitos de hardware pueden afectar la experiencia del usuario, por lo que es necesario simplificar y considerar el dispositivo. Una plantilla de reacción también está disponible para que la utilicen los desarrolladores de reacción.
  
  
• 00:35:00 En esta sección, Ron Dagdag demuestra cómo ejecutar una red neuronal en el navegador usando ONNX. Muestra una demostración de un modelo ONNX que descargó del zoológico de modelos ONNX que detecta emociones en una imagen. La web de tiempo de ejecución de ONNX se utiliza para cargar la imagen y procesarla. El modelo requiere una imagen de entrada de tamaño 64x64, por lo que Ron cambia el tamaño y convierte la imagen a escala de grises antes de convertirla a un tensor usando ort.tensor. La salida es un tensor de 1x8 que contiene las emociones detectadas en la imagen.
  
  
• 00:40:00 En esta sección, el orador analiza cómo hacer que las redes neuronales se ejecuten en un navegador con ONNX. Explica que los tres pasos para cargar un modelo ONNX en la memoria son cargarlo, crear parámetros de entrada basados en el modelo y ejecutar la sesión para obtener resultados. También analiza el proceso de puntuación de un modelo previamente entrenado en dispositivos móviles mediante React Native, que implica convertir el modelo ONNX en un modelo móvil optimizado llamado mobile.ort. El tiempo de ejecución de ONNX es compatible con varias plataformas, incluidas Windows 10, Mac OS, Ubuntu, iOS, Android, Chrome, Edge, Safari y Electron. El orador enfatiza que comprender los casos de uso de las diferentes canalizaciones de inferencia y entrenamiento de modelos es crucial, y proporciona un enlace a su GitHub para aquellos interesados en obtener más información.
  
  
• 00:45:00 En esta sección, el orador habla sobre el uso de ONNX para ejecutar el aprendizaje automático en las gafas de Snapchat, que tienen capacidades de segmentación y detección de objetos. También analiza cómo incorporar los modelos PyTorch y TensorFlow en aplicaciones que usan ONNX, ya que sirve como punto medio para la conversión entre diferentes marcos. Sugiere considerar el costo del procesamiento de datos al decidir si usar un dispositivo o un dispositivo inteligente para aplicaciones de IoT, y señala que enviar grandes cantidades de datos puede resultar costoso. El orador recomienda la optimización mediante el uso de modelos que se puedan convertir a ONNX y menciona la necesidad de trabajo adicional cuando los operadores personalizados aún no están mapeados.
  
  
• 00:50:00 En esta sección del video, Ron Dagdag explica los beneficios de ejecutar la detección de objetos más cerca del borde, en lugar de en la nube. El procesamiento ocurre localmente, lo cual es ideal cuando se trabaja con grandes cantidades de datos. Enviar los resultados de la inferencia a su centro de eventos o transmisión, en lugar de los datos sin procesar en sí, también puede ayudar a optimizar el proceso.

[MetaQuotes]

Linux Foundation Artificial Intelligence & Data Day - Reunión de la comunidad ONNX - 21 de octubre de 2021

Emma Ning (Microsoft) ONNX Runtime Web para la inferencia del navegador

001 ONNX 20211021 Ning ONNX Runtime Web para la inferencia del navegador

Emma, gerente de producto del equipo de Microsoft AI Framework, presenta ONNX Runtime Web, una nueva función en ONNX Runtime que permite a los desarrolladores de JavaScript ejecutar e implementar modelos de aprendizaje automático en un navegador, con dos backends, incluido el ensamblaje web para CPU y WebGL para GPU. El backend de ensamblaje web puede ejecutar cualquier modelo ONNX, aprovechar los subprocesos múltiples y SIMD, y admitir la mayoría de las funciones nativas de ONNX Runtime, mientras que el backend WebGL es una implementación puramente basada en JavaScript con API WebGL. El orador también analiza la compatibilidad de los operadores ONNX con ambos backends, proporciona fragmentos de código para crear una sesión de inferencia y ejecutar un modelo, y muestra un sitio web de demostración que presenta varios escenarios de modelos de imágenes en el navegador impulsados por el modelo MobileNet. Sin embargo, el orador también reconoce que aún hay margen de mejora para mejorar el rendimiento y el consumo de memoria de la web de tiempo de ejecución de ONNX y expandir los operadores de ONNX admitidos.

• 00:00:00 En esta sección, Emma, gerente de producto del equipo de Microsoft AI Framework, presenta ONNX Runtime Web, una nueva solución para la inferencia en el navegador. La idea del aprendizaje automático en el navegador ha ido cobrando fuerza, ya que permite la portabilidad multiplataforma con la implementación del sistema a través del navegador, protege la privacidad del usuario y acelera el rendimiento sin enviar datos al servidor. ONNX Runtime Web es una nueva función en ONNX Runtime que permite a los desarrolladores de JavaScript ejecutar e implementar modelos de aprendizaje automático en un navegador, con un rendimiento de inferencia mejorado, cobertura de modelos y experiencia de desarrollo. La arquitectura de ONNX Runtime Web consta de dos backends, incluido el ensamblado web para CPU y WebGL para GPU, que permiten que ONNX Runtime Web acelere la inferencia tanto en CPU como en GPU. El backend de ensamblaje web puede ejecutar cualquier modelo ONNX, aprovechar los subprocesos múltiples y SIMD, y admitir la mayoría de las funciones nativas de ONNX Runtime. El backend de WebGL, por otro lado, es una implementación puramente basada en JavaScript con las API de WebGL que brindan acceso directo a la GPU de la computadora, lo que permite muchas técnicas de optimización para impulsar aún más el rendimiento al máximo.
  
  
• 00:05:00 En esta sección, el orador analiza la compatibilidad de los operadores ONNX con los backends WebAssembly y WebGL, que admiten las plataformas más populares en el mundo web. Proporcionan un enlace a una tabla que muestra las plataformas compatibles y qué operadores ONNX son compatibles. También proporcionan fragmentos de código que demuestran cómo crear una sesión de inferencia y ejecutar un modelo con la web de tiempo de ejecución de ONNX, lo que permite una experiencia de desarrollo coherente para la influencia del lado del servidor y del lado del cliente. Luego, el orador comparte un sitio web de demostración que presenta varios escenarios de visión en el navegador interesantes impulsados por modelos de imágenes, como ejecutar el modelo MobileNet en un navegador con la opción de elegir diferentes backends. El orador reconoce que todavía hay espacio para mejorar en términos de agregar más operadores ONNX y optimizar el rendimiento web y el consumo de memoria del tiempo de ejecución de ONNX, así como trabajar en más demostraciones para mostrar sus capacidades.

[MetaQuotes]

Web y Machine Learning W3C Workshop Verano 2020

ONNX.js: una biblioteca de Javascript para ejecutar modelos ONNX en navegadores y Node.js

ONNX.js: una biblioteca de Javascript para ejecutar modelos ONNX en navegadores y Node.js

ONNX.js es una biblioteca de JavaScript que permite a los usuarios ejecutar modelos ONNX en navegadores y Node.js. Optimiza el modelo tanto en la CPU como en la GPU con varias técnicas y admite la creación de perfiles, el registro y la depuración para facilitar el análisis. La biblioteca es compatible con todos los principales navegadores y plataformas y permite la paralelización mediante trabajadores web para un mejor rendimiento en máquinas multinúcleo. El uso de WebGL para acceder a las capacidades de la GPU proporciona mejoras significativas en el rendimiento y reduce la transferencia de datos entre la CPU y la GPU. Aunque se necesita más optimización y soporte del operador, el orador alienta las contribuciones de la comunidad para mejorar ONNX.js.

• 00:00:00 En esta sección, Emma de Microsoft habla sobre ONNX.js, que es una biblioteca de JavaScript utilizada para ejecutar modelos ONNX en navegadores y Node.js. JavaScript es un lenguaje muy importante utilizado por el 95 % de los sitios web y es el lenguaje del lado del cliente más popular utilizado para aplicaciones electrónicas como GitHub Desktop y VS Code. A pesar de la percepción de que JavaScript no está diseñado para computación de alto rendimiento, existen técnicas disponibles para hacer que JavaScript y el aprendizaje automático funcionen bien juntos. Un beneficio de usar el aprendizaje automático del lado del cliente incluye la protección de la privacidad al tiempo que permite el análisis en tiempo real, lo que permite una experiencia de IA uniforme en varias plataformas y acelera el rendimiento mediante el uso de GPU sin necesidad de instalar bibliotecas o controladores. ONNX.js es similar a TensorFlow.js y proporciona modelos de aprendizaje automático en el formato ONNX, que es un marco estándar.
  
  
• 00:05:00 En esta sección, aprendemos sobre la comunidad ONNX, que fue establecida en 2017 por Microsoft y Facebook para proporcionar un estándar de formato abierto neutral en ventanas. ONNX.js es una implementación JavaScript pura de ONNX que permite a los usuarios ejecutar modelos ONNX en un navegador y cargar JS. Optimiza el modelo tanto en CPU como en GPU con varias técnicas de tecnología avanzada y tiene tres back-ends habilitados, dos para CPU que usan JavaScript y WebAssembly, y uno para GPU que usa WebGL. ONNX.js también proporciona un generador de perfiles, un registrador y otras utilidades para facilitar la depuración y el análisis, y es compatible con todos los navegadores en las principales plataformas para crear fácilmente aplicaciones de IA en todas las plataformas. Finalmente, el uso de trabajadores web permite la paralelización dentro de operadores pesados que mejora significativamente el rendimiento en máquinas con múltiples núcleos.
  
  
• 00:10:00 En esta sección, el orador analiza los beneficios de usar WebGL, una API estándar popular para acceder a las capacidades de GPU, para acelerar la creación de gráficos en JavaScript. El uso de WebGL permite muchas optimizaciones para reducir la transferencia de datos entre la CPU y la GPU, además de reducir los ciclos de procesamiento de la GPU, lo que se traduce en mejoras de rendimiento significativas. El orador también proporciona un ejemplo de flujo de extremo a extremo del uso de ONNX.js para ejecutar un modelo y demuestra cómo usar ONNX.js con un ejemplo de HTML y npm y herramientas de límites. Además, el orador analiza la necesidad de una mayor optimización y soporte para más operadores ONNX y alienta las contribuciones de la comunidad para mejorar ONNX.js.

[MetaQuotes]

Cómo ejecutar modelos de PyTorch en el navegador con ONNX.js

Cómo ejecutar modelos de PyTorch en el navegador con ONNX.js

El video explica las ventajas de ejecutar un modelo PyTorch en un navegador usando JavaScript y ONNX.js, incluido un mejor tiempo de respuesta, escalabilidad, disponibilidad sin conexión y privacidad de usuario mejorada. El video también recorre el proceso de convertir un modelo PyTorch en un modelo ONNX, cargarlo en una sesión ONNX.js y ejecutar la inferencia en el navegador. También se analizan la preparación, la depuración y los aumentos de datos, y el orador demuestra cómo hacer que el modelo sea más robusto utilizando técnicas de aumento de datos. El video proporciona un código de muestra y un sitio web de demostración para que los usuarios prueben el modelo por sí mismos.

• 00:00:00 En esta sección, Eliot Wait analiza los beneficios de ejecutar un modelo PyTorch en un navegador usando JavaScript. En primer lugar, ejecutar el modelo en el navegador proporciona un mejor tiempo de respuesta y evita la latencia del envío de datos hacia y desde un servidor. En segundo lugar, configurar un sitio web solo con archivos estáticos facilita la escala y el manejo de más usuarios. En tercer lugar, el modelo funcionará sin conexión, por lo que mientras los archivos JavaScript ya estén instalados, aún se pueden usar sin acceso a Internet. En cuarto lugar, alojar el modelo en el navegador mejora la privacidad del usuario, ya que los datos no se comparten con ningún servidor. Sin embargo, si el modelo es demasiado grande o lleva mucho tiempo calcularlo en los dispositivos de los usuarios, se recomienda alojarlo en un servidor. Finalmente, Eliot ilustra cómo convertir fácilmente modelos de PyTorch en JavaScript utilizando un modelo Mnest para el reconocimiento de dígitos escritos a mano.
  
  
• 00:05:00 En esta sección, el video explica la diferencia entre usar TensorFlow.js y ONNX.js, y sugiere usar TensorFlow.js para entrenamiento y ONNX.js para inferencia. ONNX significa "intercambio de red neuronal abierta" y define un formato de archivo común para los modelos de aprendizaje automático. Luego, el video recorre el proceso de convertir un modelo PyTorch en un modelo ONNX mediante el método torch.onnx.export y muestra cómo cargar el modelo en una sesión de inferencia ONNX.js para ejecutar la inferencia en él en el navegador. El video proporciona un código de muestra para crear la sesión, cargar el modelo y ejecutar la inferencia en una entrada ficticia, que devuelve un mapa de salida de solo lectura.
  
  
• 00:10:00 En esta sección, el video explica cómo abordar un error que ocurre al intentar ejecutar el modelo PyTorch en el navegador usando ONNX.js. Específicamente, el mensaje de error indica que el operador log-softmax actualmente no es compatible con ONNX.js, pero el presentador de video muestra que el operador softmax es compatible en su lugar. El video también presenta un sitio web de demostración donde los usuarios pueden dibujar números y ver las predicciones de salida del modelo PyTorch. Sin embargo, el presentador señala que hay un problema con la carga del modelo, que se corrige asegurándose de que el modelo se haya cargado antes de ejecutar los datos a través de él. Finalmente, el video presenta una versión actualizada del código del modelo que remodela una lista de datos de imagen en un tensor de 280x280x4, lo que permite que el modelo prediga valores de dígitos en función de la entrada de píxeles.
  
  
• 00:15:00 En esta sección del video, el orador explica cómo preparar datos para un modelo de PyTorch que se ejecutará en el navegador usando ONNX.js. Extraen el cuarto canal de una imagen dibujada para darle la forma esperada para las imágenes de PyTorch. También aplican el operador de grupo promedio y dividen el tensor por 255 para ajustar los valores de la imagen dentro del rango esperado. Además, explican cómo normalizar los datos restando la media del conjunto de datos y dividiéndola por la desviación estándar. El orador identifica un error debido a la forma antigua de la entrada ficticia y explica cómo solucionarlo. También explican cómo depurar y aplicar el aumento de datos para hacer que el modelo sea más preciso, girando y traduciendo los datos de la imagen antes de pasarlos por el modelo.
  
  
• 00:20:00 En esta sección, el orador demuestra cómo hacer que el modelo sea más robusto agregando aumento de datos al script de entrenamiento. Estos aumentos incluyen traducciones, escalado y corte de los dígitos, lo que produce muestras más difíciles de las que el modelo puede aprender. Luego, el orador vuelve a entrenar el modelo desde cero y lo prueba, señalando que si bien aún podría mejorar, el aumento de datos agregado lo ha hecho más sólido en general. El orador invita a los espectadores a probar el modelo por sí mismos usando el enlace en la descripción del video.

[MetaQuotes]

Clasificación de dígitos en CPU con demostración de ONNX Runtime

Clasificación de dígitos en CPU con demostración de ONNX Runtime

Open Neural Network Exchange (ONNX) proporciona un formato de código abierto para modelos de aprendizaje profundo y aprendizaje automático. Podemos entrenar nuestros modelos en el marco que prefiramos y luego convertir el modelo al formato ONNX. Con ONNX Runtime de Microsoft, podemos ejecutar una sesión de inferencia con modelos onnx en cualquier entorno que nos brinde una implementación un poco más rápida. Aquí hay una demostración simple de lo mismo. El modelo está entrenado para reconocer dígitos utilizando el conjunto de datos MNIST con PyTorch. Estoy ejecutando una sesión de inferencia en la CPU de Linux.

https://github.com/NagarajSMurthy/Digit-recognizer