毫米波雷达融合相关论文

信息融合分类

信息融合的分类方法有多种，其中较为通用的一种方法是依据信息的抽象层次将其划分为三类，即数据层融合、特征层融合、决策层融合

  • 数据层融合：每个传感器分别对目标进行观测，然后将各传感器的原始数据或者经过简单滤波处理的目标数据传输给融合中心；随后，融合中心对各种传感器的测量数据进行融合处理，提取目标特征，识别目标身份

    数据层融合

    • 原始数据损失量较小，细节信息保存较为完整，精度相对较高
    • 数据量较大，需要较多计算资源，实时性差
    • 仅能对同质传感器融合

  • 特征层融合：每个传感器需要对各自的原始数据进行处理，从中提取目标特征，然后再将数据传输给融合中心；随后，融合中心依据各传感器提取的目标特征进行数据关联，并进行目标数据融合与目标身份识别

    特征层融合

    • 数据线明显减小，实时性提高
    • 融合中心接收到的信号存在一定损失，融合精度会下降

  • 决策层融合：每个传感器需要对各自的原始数据进行预处理，提取目标特征并进行身份识别，然后再将目标识别的结果传输给融合中心；融合中心只需要对识别的目标进行关联以实现数据融合

    决策层融合

    • 损失部分数据，使得融合中心的处理速度更快，实时性更好
    • 鲁棒性较好

基于毫米波雷达的微动手势识别关键技术研究

关键词：物联网、人机交互、毫米波雷达、微动手势识别

2019年

微动手势是主要涉及手指运动的手势动作，相比于粗粒度手势，它能够完成更加精细化的交互操作

本文针对存在的手势运动参数联合估计、微动手势类目标消除和微动手势特征提取及识别难题，主要包括：

  1. 微动手势距离‐角度联合超分辨估计
    1. 通过二进制相分多路复用对 MIMO 天线进行虚拟扩展，增大接收阵列孔径，用于提高目标回波到达角估计分辨率
    2. 提出了基于 Extrapolation-MUSIC 的距离-到达角超分辨联合估计算法，利用自回归模型对时域信号进行外推，在确保距离高分辨率的同时，融合了 Extrapolation-FFT 算法低时间复杂度和 MUSIC 算法超分辨角度估计的优点，在实际低信噪比环境下实现了距离-到达角的高分辨测量。最终实现精准的运动轨迹复现
  2. 微动手势类目标抑制
    • 在传统的基于杂波能量检测算法基础上，提出了基于无监督卷积自编码网络实现类目标抑制的方法，充分挖掘有限数据集中的高维空间位置-能量联合特征信息，结合类目标滤除前后的重构交叉信息熵最小化准则，实现微动手势类目标抑制
  3. 微动手势特征提取及识别
    1. 对微动手势参数进行特征分析的基础上，将“三域”参数联合估计得到的距离-角度谱和距离-速度谱作为输入数据，设计了一种基于多参数特征融合的微动手势时序-空间联合特征提取算法
    2. 构建循环卷积 3D 神经网络对手势执行过程中的连续输入数据进行全局时序特征分析，并结合连接时序分类算法（CTC）完成微动手势序列动态时序建模，最终实现微动手势高精度识别

R3DCNN-CTC

基于毫米波雷达与单目相机融合的目标识别与跟踪

关键词：车道线检测，车辆目标检测，毫米波雷达，摄像头，信息融合

决策层融合

2019年

系统架构

本文提出了一个结构化道路模型，其中包含车道线与车辆目标。利用相机识别出车道线目
标与车辆目标，再与毫米波雷达识别追踪出的车辆目标进行融合。

  1. 提出基于语义分割神经网络与聚类相结合的车道线检测算法

    • 利用编码器-解码器神经网络框架实现车道线像素分成不同类别，并从不同类别的车道线像素中拟合出车道线目标

      车道线识别

  2. 提出一种基于车道线的车辆目标关联算法

    1. 利用基于回归思想的神经网络（TOLO）实现相机对车辆目标的识别追踪

    2. 利用滤波器提升毫米波雷达的目标检测效果

    3. 在此基础上利用检测出的车道线数据，实现不同传感器目标的有效关联，并利用车辆目标与虚警目标在车道线模型中所表现出的不同特性，实现基于语义的虚警去除

      目标检测追踪流程图

  3. 融合系统

    • 根据上述结果建立传感器的空间融合模型
    • 利用内插外推法建立传感器的时间融合模型
    • 在此基础上搭建测试平台采集数据建立实验数据集，并利用该数据集进行测试

基于毫米波雷达和相机信息融合的危险目标检测方法研究

关键词： 毫米波雷达，相机，信息融合，目标检测，风险评估

决策层融合

2020年

本文设计了基于毫米波雷达和相机的信息融合方案，分别利用毫米波雷达和相机进行目标检测，随后对目标数据进行特征提取、身份识别以及决策层融合，最后对融合目标进行风险评估和危险目标选。

  1. 制定目标检测流程

  2. 预处理传感器数据

    1. 对毫米波雷达目标信息进行聚类分析
    2. 对传感器原始数据进行滤波

  3. 设计基于毫米波雷达和相机的融合算法架构

    1. 时空配准

    2. 将各传感器对同一目标的测量数据进行融合（相似度）

    3. 对融合目标进行跟踪检测（基于 Kalman 滤波的目标跟踪）

      信息融合算法架构

  4. 制定危险目标筛选策略（基于行为的运动模型）

    1. 利用车辆的历史轨迹判断其行驶状态
    2. 通过本车与前车之间的相对距离以及相对速度计算车辆碰撞时间，以此对融合目标进行危险性评估

  5. 在不同工况下对本文算法进行相关试验与结果分析

    • 搭建多传感器融合的实验平台，并进行相关测试

车载毫米波雷达目标分类识别技术研究

关键词：毫米波雷达；LFMCW；特征提取；分类识别；支持向量机分类

2020年

论文开展了基于目标运动特征和电磁散射特征的特征提取，研究了基于多特征融合的分类识别技术、并基于实测数据进行了试验研究

  1. 研究 LFMCW （Linear Frequency Modulated Continuous Wave，调频连续波）雷达信号的目标定位参数和特征信息测量原理

  2. 分析不同类型道路目标分类识别所需的关键特征，研究了基于目标运动特征及电磁散射特征的提取和处理技术，基于实测数据完成了各类目标的特征提取和特征变换

  3. 构建基于道路目标的分类识别机制，研究了基本分类识别方法及算法特性，构建了基于多特征融合的决策树-支持向量机分类器

    基于决策树的 SVM 分类总体流程图

  4. 搭建基于 AWR1243 毫米波雷达的实验平台，进行实验测试和识别效果评估

毫米波雷达与机器视觉双模探测关键技术的研究

关键词：24GHz 雷达前端，目标检测，传感器融合，融合算法

决策层融合

2020年

本文分别研究和改进了基于毫米波雷达的目标检测方法和基于机器视觉的目标检测方法，并提出了毫米波雷达与机器视觉目标融合的车载前向感知探测检测方法。主要内容：

  1. 基于意行 SG24T1 和 SG24R1 芯片设计一发两收的 24GHz 毫米波雷达前端硬件电路

  2. 基于 Zynq-7020 移植了 tiny-YOLO 神经网络，对网络模型进行了分割，以进行硬件加速和对目标的检测和识别。通过摄像头的标定实现了对目标距离的测量，将像素坐标系的目标位置映射到了世界坐标系，实现了坐标系的统一

  3. 基于匈牙利算法和扩展卡尔曼滤波算法设计了毫米波雷达探测目标和机器视觉探测目标的目标级融合，通过异步传入目标和目标池解决了雷达和机器视觉传感器的延时不相同且不确定的问题

    融合算法框图

    融合模块内部框图

基于信息融合的智能车辆目标检测算法研究

关键词：深度学习；目标检测；融合；智能车辆

2020年

数据层融合：将毫米波获取的特征作为视觉辅助，扩宽了视觉范围，最终辅助视觉在像素方面进行目标检测

本文利用毫米波雷达对前方障碍物进行数据采集，并对获取的目标进行有效筛选、过滤，确定有效目标。再将有效目标通过坐标转换投影到摄像头采集的图像上，建立感兴趣区域，完成前方障碍物的检测：

  1. 完成毫米波雷达的安装标定与数据采集。并根据协议完成数据的解析，最终选取有效目标检测区域，筛选空目标，滤除无效目标

  2. 在YOLOv3障碍物检测基础之上，融入空间金字塔的思想，对YOLOv3主网络部分进行修改，形成YOLOv3-bt目标检测算法

    YOLOv3-bt网络结构

  3. 完成时空数据融合。同时，对中国典型道路工况展开分析，确定融合识别方案

    融合思路