企业新闻
沈宇科技 > 最新资讯 > 当前位置
传感器对摄像头的实际作用

    为了评估传感器不同特征通道的贡献,我们介绍了一种新的多模式融合方法,并使用激光雷达相机摄像头融合网络演示了其实用性。具体来说,提出了一种可以轻松添加到融合分割网络中的通道注意模块。在该模块中,我们使用通道注意机制来获取跨通道局部交互信息,并分配特征通道的权重来表示不同特征通道的贡献。为了验证该方法的有效性,我们使用KITTI干扰器基准和A2D2数据集对两种类型的特征融合进行了实验。

    我们的模型实现了精确监控的边缘分割,与原始融合方法的值相比,精度提高了5.59%,F2分数提高了2.12%。我们相信,我们为多模式融合引入了一种新的优化思想。我们提出了第一个训练用于检测大型猿类的多帧视频对象检测框架。它适用于在复杂的丛林环境中挑战摄像机陷阱镜头,并通过在空间和时间域中添加自注意力驱动的特征混合,屏蔽器扩展了传统的特征金字塔结构。我们证明,尽管存在明显的部分遮挡,但这种扩展可以检测到独特的物种外观和运动特征。

    我们使用泛非计划中包含180K帧的500个大型类人猿摄像机捕捉视频来评估框架,我们使用精确的监控摄像头每帧动物边界框手动注释。这些剪辑包含显著的局部遮挡、挑战性的照明、动态背景和自然伪装效果。我们表明,我们的方法性能非常稳定,显著优于基于帧的检测器。我们还对完整的ILSVRC 2015 VID数据语料库进行了详细的消融研究和验证,以证明在适当的性能水平下具有更广泛的适用性。我们得出结论,该干扰屏蔽器框架已准备好协助人类摄像机陷阱检查工作。我们在本文中发布了代码、权重和地面实况注释。