Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 78): Detector de objetos basado en el Transformer (DFFT)"

 

Artículo publicado Redes neuronales: así de sencillo (Parte 78): Detector de objetos basado en el Transformer (DFFT):

En este artículo, le propongo abordar la creación de una estrategia comercial desde una perspectiva diferente. Hoy no pronosticaremos los movimientos futuros de los precios, sino que trataremos de construir un sistema comercial basado en el análisis de datos históricos.

El métodoDecoder-Free Fully Transformer-based (DFFT) es un eficaz detector de objetos basado enteramente en transformadores sin decodificadores. La columna vertebral del Transformer se centra en la detección de objetos, que extrae a cuatro escalas y envía al siguiente módulo de predicción de densidad de un solo nivel solo para el codificador. El módulo de predicción primero añade el objeto multiescala en un único mapa de objeto utilizando el codificador Scale-Aggregated Encoder.

A continuación, los autores del método proponen usar el Task-Aligned Encoder para alinear simultáneamente las características de las tareas de clasificación y regresión.

El transformador orientado a la detección (Detection-Оriented Тransformer — DOT) está diseñado para la extracción de características multiescala con una semántica estricta. Apila jerárquicamente un módulo de incorporación y cuatro etapas de DOT. El nuevo módulo de atención semánticamente ampliado añade la información semántica de bajo nivel de cada dos etapas DOT consecutivas. 

Al procesar mapas de características de alta resolución en predicción densa, los bloques transformadores convencionales reducen el coste computacional sustituyendo la capa de Self-Attention de cabeza múltiple (MSA) por una capa de atención espacial local y Self-Attention multicabeza con ventana desplazada (SW-MSA). Sin embargo, esta estructura reduce el rendimiento de la detección, pues solo extrae objetos multiescala con una semántica de bajo nivel limitada.

Autor: Dmitriy Gizlyk