文章 "神经网络变得简单(第 78 部分):带有变换器的无解码对象检测器(DFFT)"

 

新文章 神经网络变得简单(第 78 部分):带有变换器的无解码对象检测器(DFFT)已发布:

在本文中,我提议从不同的角度看待构建交易策略的问题。我们不会预测未来的价格走势,但会尝试基于历史数据分析构建交易系统。

无解码器完全基于变换器(DFFT)方法是一种完全基于无解码器变换器的高效对象检测器。变换器主干专注于对象检测。它在四个尺度提取它们,并将它们发送到下一个单级编码器,仅有密度预测模块。预测模块首先使用 尺度聚合编码器 将多尺度特征聚合到单一特征映射。

然后,该方法的作者建议使用 任务对齐编码器针对分类和回归问题进行同步特征匹配。

面向检测的变换器(DOT)主干旨在提取含有严格语义的多尺度特征。它在层次结构上堆叠了一个嵌入模块和 4 个 DOT 阶段。新的语义增强关注度模块聚合了 DOT 每两个连续阶段的低级语义信息。 

在处理高分辨率特征映射,以便进行密集预测时,传统的变换器模块把多目关注度MSA)替换为局部空间关注度层,和窗口偏置多目自注意力(SW-MSA),从而降低计算成本。不过,这种结构降低了检测性能,因为它仅提取包含有限低级语义的多尺度对象。

作者:Dmitriy Gizlyk