Cooper

论文：https://ieeexplore.ieee.org/abstract/document/8885377/

前人的工作

数据融合可以分为数据级融合、特征级融合、对象级融合。数据级融合就是你将没有经过任何处理的原始数据进行融合，特征融合是先将原始数据的特征提取出来再进行融合，对象级融合将每辆车的检测结果进行融合。对象级融合只依赖于单一车辆的传感器，只有当两辆车共享一个参考对象时才会起作用。因此这并不能解决发现之前未被检测到的物体。

论文概述

本篇文献是使用数据级融合技术。这首先要解决两个问题，车辆间共享数据的格式、用于融合的数据总量。同时由于接收到的数据是在不同的位置和角度拍摄的，因此车辆需要对接受到的数据进行选择与重构。

数据选择

首先，需要了解哪种类型的感知数据适合于合作感知，接着使用SPOD方法克服点云过于稀疏而无法检测到目标的缺点，将两个传感器的数据优先用于协同传感。由于激光点云带有位置信息，所以优先选择激光点云数据。而由于在感知系统中，图像和点云数据是对齐的，所以在某些情况下，还需要在协同感知的过程中提取图像数据。

数据重构

通过对点云数据的合并，可以直观的重建局部环境。重建局部环境过程中，车辆交换信息的包由激光雷达传感器安装信息和其GPS读取信息组成，确定每一帧点云的中心点位置。车辆的IMU（惯性测量单元）也是必要的，用来表示车辆的朝向α、倾角β、翻滚角γ度等。旋转矩阵R表示为
$$
R=R_z(\alpha)R_y(\beta)R_x(\gamma)\
R_z(\alpha)=\begin{bmatrix} \cos \alpha & -\sin\alpha & 0 \ \sin\alpha & \cos\alpha & 0\0&0&1 \end{bmatrix}\quad R_y(\beta)=\begin{bmatrix} \cos \beta & 0& \sin\beta \0&1&0 \ -\sin\beta & 0& \cos\beta\end{bmatrix}\quad R_x(\gamma)=\begin{bmatrix} 1&0&0\ 0 &\cos\gamma & -\sin\gamma \0& \sin \gamma & \cos\gamma\end{bmatrix}
$$
当连通车辆交换信息时，协同感知系统根据下式生成新的一帧(此前需要对传来的数据进行一定的转换，转换到同一坐标系下)
$$
\begin{bmatrix} X\Y\Z \end{bmatrix}=\begin{bmatrix} X_R\Y_R\Z_R \end{bmatrix}\bigcup\begin{bmatrix} X_R’\Y_R’\Z_R’\end{bmatrix}
$$

SPOD

作者选择16束激光雷达，既可以输出稀疏数据，并且与32束64束相比具有价格优势。借助SECOND网络思想，作者提出SPOD网络，一个适用于低密度点云数据的目标检测算法。

点数据参数化表示为x,y,z与反射率r。

在预处理模块，为了得到更紧凑的表示，使用https://ieeexplore.ieee.org/abstract/document/8462926/方法将点云投影到球体上，生成密集表示。
voxel特征提取模块，以点云数据作为输入，将提取的voxel-wise特征输入到voxel特征编码层。然后使用稀疏卷积中间层，大大减少卷积过程的计算开销。
RPN模块使用SSD结构，将卷积层输出的特征图作为输入，并连接成一个特征映射进行预测。