第 6 周 多模态融合与协作语义表示

可验证的表示、对齐与通信代价

崇滨、石守谦

2027 春季 · 资料核对至 2026-10-15

怎样融合不同节点的观测

• 观测的时间、位置和含义是否一致？
• 哪些内容适合编码后交换？
• 训练时需要什么监督信息？

用W5定位与标定的内容作前提。学生无需预修深度学习，但必须理解向量只是数值表示，模型必须通过可测量任务定义它的意义。

用向量表示观测

编码器把图像、点云或状态转换为向量。

• 向量维度：可交换的数据大小
• 向量内容：为当前任务保留的信息
• 表示质量：由任务实验检验

先区别人工字段向量和学习表示。数值放在同一数组不意味着可以直接相加。不同传感器、不同模型版本的64维embedding也未必兼容。

从输入到训练目标

• 编码器：提取特征
• 任务头：输出类别、位置或动作
• 损失函数：衡量输出与目标的偏差

theta与phi是模型可调整的参数。embedding本身不一定有唯一正确答案，但任务输出可以有标签或验证依据。训练后有时只保留encoder，监督头仍为表示提供语义锚点。

手算一次参数更新

模型 $\hat y=wx$，样本 $(x,y)=(2,1)$。

$$L=(2w-1)^2,\quad w_0=0,\quad \nabla L=-4$$

学习率为 $0.1$：$w_1=0.4$，更新后 $L=0.04$。

逐项解释gradient是参数变化对loss的局部影响，gradient descent沿负梯度方向更新。该例只介绍训练机制，不要求复杂微积分推导。后续loss可能不是简单平方误差。

训练、验证与测试

• 训练集：更新模型参数
• 验证集：选择模型与超参数
• 测试集：评估未参与选择的场景

同一轨迹的相邻帧应放在同一划分中。

强调测试集不能用来挑最好的通信阈值再报告结果。课程项目优先按场景或轨迹切分，记录seed；是否跨地点泛化需要单独holdout地点。

多种传感器为何能够互补

• 相机：外观与语义
• 深度或点云：几何结构
• 热成像：特定环境下的温度线索

是否互补，需要结合任务、标定与环境验证。

避免把某传感器写成无条件可靠。烟雾、反光、距离和视角会改变质量。模型需要知道哪些模态缺失，以及有效输入的质量范围。

共享表示与节点私有信息

• 共享部分：任务对象、位置、置信度
• 私有部分：设备状态与本地控制细节
• 交换前明确字段含义与使用范围

这是候选设计思路，不是唯一网络架构。以RGB的纹理和热像的温度差异说明。共享维度如何设置、是否需要private分支都应通过消融而不是口号决定。

CLIP：图像与文本的语义对齐

• 图像和文本映射到可比较的表示空间
• 适合语义检索与任务描述匹配
• 定位精度、热像适配和控制效果需要另行验证

clip · ICML 2021

引用ICML2021原论文。不要把图文相似度当作火点位置的米制误差，也不要把自然语言相似当作资源状态一致。部署前需要接入本任务的监督与标定。

来源与阅读边界： - Learning Transferable Visual Models From Natural Language Supervision. ICML 2021. https://proceedings.mlr.press/v139/radford21a.html 核验深度：官方摘要。使用边界：不保证定位精度、热像适配或控制可用。

融合前先完成三种对齐

• 空间：使用一致的坐标与尺度
• 时间：考虑采样时间和运动补偿
• 实体：判断是否描述同一个对象

连接W2合同和W5定位。实体关联错误可能把两名不同目标融合成一名；时间对齐错误可能将移动目标放在两个位置。给出一种误差，要求学生指出影响的是哪个环节。

CoAlign：把定位误差纳入融合

• 协作感知需要估计节点之间的相对位姿
• 定位误差会使特征错位
• 对比不同误差范围下的检测与通信结果

coalign · ICRA 2023

ICRA 2023研究存在位姿误差时的协作三维检测。用作W5定位到W6融合的连接。课堂不宣称其保证任意分布的定位误差鲁棒性；项目应保留真实或说明来源的误差分布，并检查位置和角度误差。

来源与阅读边界： - Robust Collaborative 3D Object Detection in Presence of Pose Errors. ICRA 2023. https://github.com/yifanlu0227/CoAlign 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：鲁棒范围依赖误差设置和数据分布。

How2comm：特征选择与时延补偿

• 通过空间与通道筛选减少特征冗余
• 利用运动线索补偿时间错位
• 检验：遮挡、突发事件与长时延下是否仍然有效

how2comm · NeurIPS 2023

NeurIPS 2023官方摘要说明互信息感知通信、空间通道筛选、流引导的时延补偿及协作Transformer。课程推演：预测补偿可能在未见突发事件下失效，因此训练和测试应区分平稳运动与新事件；对无法观测的事件保留不确定性。

来源与阅读边界： - How2comm: Communication-Efficient and Collaboration-Pragmatic Multi-Agent Perception. NeurIPS 2023. https://proceedings.neurips.cc/paper_files/paper/2023/hash/4f31327e046913c7238d5b671f5d820e-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：时延补偿不能恢复从未获得的信息。

手算坐标转换

本例只含平移；旋转、时间与坐标基准需要另行处理。

本例只含平移；旋转、时间与坐标基准需要另行处理。

这是二维教学算例，不代表三维标定已经解决。学生应说出若原点位置有1米误差，融合目标也会偏移；变换矩阵必须绑定时间与坐标系版本。

在哪个阶段融合

阶段	交换内容
原始数据融合	图像、点云
特征融合	编码后的中间特征
结果融合	目标、轨迹、置信度

不要预设intermediate总是最好。异构模型版本可能让late更容易互通，噪声与deadline也会改变选择。用户研究愿景允许多种消息类型，而不强制一个统一latent承担所有信息。

V2VNet：压缩特征并跨节点融合

• 将传感器观测编码为中间特征
• 融合其他节点的特征与本地状态
• 课程问题：三维运动和排队时延如何影响对齐？

v2vnet · ECCV 2020

ECCV 2020。原作者论文描述压缩表示、跨车辆聚合及感知预测输出。迁移到无人机需核验三维坐标、时间补偿和真实消息可用性。本页不引用未经复现的数值增益。

来源与阅读边界： - V2VNet: Vehicle-to-Vehicle Communication for Joint Perception and Prediction. ECCV 2020. https://www.ecva.net/papers/eccv_2020/papers_ECCV/html/3838_ECCV_2020_paper.php 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：考虑车辆位姿和时延的方案需重新检查三维运动条件。

设计一条可解释的消息

• 内容：对象、特征或地图区域
• 元数据：来源、时间、坐标与版本
• 使用条件：有效期限与置信程度

occupancy指空间格子的占据状态，W5若未讲过，教师在此先用“空、占据、未知”解释。unknown不能被编码成free。元数据和mask自身也需要通信成本。

同一观测可能沿多条路径到达

中继保留原始来源与序号，接收端据此识别重复观测。

中继保留原始来源与序号，接收端据此识别重复观测。

提醒学生即使两个消息的source_id不同，底层观测来源也可能相同。简单去重消息ID不能完全解决相关性。GNN多轮传播会反复遇到这一问题。

独立证据怎样更新概率

先验赔率为 $1$，两条独立证据的似然比分别为 $4$、$7/3$。

$$O=1\times4\times\frac73=\frac{28}3,\qquad P=\frac{28}{31}\approx0.903$$

存在相关性时，不能直接相乘。

odds是p/(1-p)。这里把4和7/3直接设为独立证据的似然比来简化演算，不将任意模型置信度相乘当Bayesian融合。重点是明确条件，而不是教学生无条件提高置信度。

缺失信息也是模型的输入条件

• 缺测：本次没有观测
• 迟到：观测到达时已经过期
• 拒收：版本、来源或坐标不符合要求

为三种情况分别保留标记。

零向量可能本来就是有效表示，所以需要显式missing条件。拒收不是系统失败的全部，应记录原因，以便判断是输入合同、网络还是模型造成可用性下降。

表示向量需要任务依据

• 向量相似，不一定表示目标相同
• 重建准确，不一定改善决策
• 用检测、地图或动作指标检验表示

这是第二份Outline中最关键的训练问题。相同预测任务可能对应很多等价embedding空间，不能把“没有正确向量标签”误认为完全不能训练。输出真值也可能有噪声，需说明标签来源。

监督信息从哪里来

• 人工或数据集标注
• 仿真器提供的状态与事件
• 专家策略给出的动作

记录标注误差、覆盖范围与获取代价。

要求项目对每一个loss写出标签生成方式和失效条件。仿真中拿到全局标签用于训练可以，但运行期输入不能偷偷保留这些特权信息。

用教师模型指导本地模型

• 教师可在训练时使用更完整的信息
• 学生仅使用部署时能够获得的输入
• 测试时移除教师与额外信息

这是避免privileged information leakage的关键。teacher可能在烟雾或定位错误条件下出错，student拟合teacher不保证更接近真值。将teacher与oracle分别标注。

DiscoNet：用完整视角指导局部协作

• 教师利用较完整的观测
• 学生根据局部输入学习协作特征
• 测试时仅运行学生模型

disconet · NeurIPS 2021

NeurIPS 2021提出教师学生框架和可学习协作图。训练目标包括学生协作后特征与教师特征的匹配。课程借此讨论特权监督：部署输入不能包含教师才能获得的信息；应报告教师输入和学生输入各自的范围。

来源与阅读边界： - Learning Distilled Collaboration Graph for Multi-Agent Perception. NeurIPS 2021. https://proceedings.nips.cc/paper_files/paper/2021/hash/f702defbc67edb455949f46babab0c18-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：测试学生时需去除教师额外输入。

跨节点一致性应当有条件

• 同一对象的几何位置应相容
• 不同时刻的状态需要运动补偿
• 不确定观测可保留分歧与置信度

用“所有地图格子都预测空”说明一致性塌缩。损失组合不是越多越好，权重需要验证。学生应指出每个项试图纠正的错误和可能引入的偏差。

手算特征消息的大小

$8\times8\times16$ 个数，共 $1024$ 个元素。

• float32：$4096$ 字节
• int8：$1024$ 字节
• 另计：坐标、时间、协议头与重传

计算8×8×16×4和8×8×16×1。若只传稀疏格子，索引可能成为显著成本。量化会改变预测质量，不能直接把4倍数据缩小写成4倍系统加速。

Where2comm：按区域选择共享信息

Where2comm原论文Figure 2

where2comm · NeurIPS 2022

沿原图只讲三处关系：生成空间置信、选择区域及伙伴、融合接收特征。图是原论文证据，不是课程自己训练出的模型。后续注意其共享BEV坐标和监督任务。

来源与阅读边界： - Where2comm: Communication-Efficient Collaborative Perception via Spatial Confidence Maps. NeurIPS 2022. https://proceedings.neurips.cc/paper_files/paper/2022/hash/1f5c5cd01b864d53cc5fa0a3472e152e-Abstract-Conference.html 核验深度：全文重点阅读 §3–4。使用边界：共享 BEV 坐标、协同感知不等于动作闭环。

Where2comm 的训练与迁移条件

• 研究空间置信度引导的信息选择
• 任务监督来自协作感知数据
• 迁移到无人机时，重查视角、坐标与网络假设

where2comm · NeurIPS 2022

依据原论文§3–4与相关工作说明。本轮不复用摘要最高压缩倍数，避免脱离比较口径。这里最重要的启发是下游可验证任务能够监督通信表示。

来源与阅读边界： - Where2comm: Communication-Efficient Collaborative Perception via Spatial Confidence Maps. NeurIPS 2022. https://proceedings.neurips.cc/paper_files/paper/2022/hash/1f5c5cd01b864d53cc5fa0a3472e152e-Abstract-Conference.html 核验深度：全文重点阅读 §3–4。使用边界：共享 BEV 坐标、协同感知不等于动作闭环。

MCOP：多无人机协作占据预测

MCOP原论文Figure 2

mcop · ICCV 2025

按原文§3说明从3D特征到紧凑2D表示再融合回3D任务输出的结构。不要将它简化成彻底丢弃高度。详细模块名称可放讲者注释，不要求学生第一遍背缩写。

来源与阅读边界： - MCOP: Multi-UAV Collaborative Occupancy Prediction. ICCV 2025. https://openaccess.thecvf.com/content/ICCV2025/html/Lin_MCOP_Multi-UAV_Collaborative_Occupancy_Prediction_ICCV_2025_paper.html 核验深度：全文重点阅读 §3.1–3.5；PDF已取得。使用边界：数据集扩展和通信假设需逐项核对。

阅读 MCOP 时检查哪些条件

• 多无人机占据预测的输入与输出
• 特征压缩及交换方式
• 数据集、定位条件与通信设定

mcop · ICCV 2025

依据原文§3.1及§3.2。课堂将其作为高质量UAV相关前沿原论文，但不因来自ICCV就跳过系统假设。不要把原文的数据集实验当作真实多跳机群部署。

来源与阅读边界： - MCOP: Multi-UAV Collaborative Occupancy Prediction. ICCV 2025. https://openaccess.thecvf.com/content/ICCV2025/html/Lin_MCOP_Multi-UAV_Collaborative_Occupancy_Prediction_ICCV_2025_paper.html 核验深度：全文重点阅读 §3.1–3.5；PDF已取得。使用边界：数据集扩展和通信假设需逐项核对。

CoSDH：根据供需选择协作内容

• 结合供给与需求判断信息价值
• 组织中间特征与结果层面的融合
• 为通信预算内的信息选择提供参考

cosdh · CVPR 2025

明确证据深度，避免从标题推断具体模块和量化结果。比较它与Where2comm/MCOP时，可以要求学生从原文找出需求表达、预算定义与标签来源。

来源与阅读边界： - CoSDH: Communication-Efficient Collaborative Perception via Supply-Demand Awareness and Intermediate-Late Hybridization. CVPR 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Xu_CoSDH_Communication-Efficient_Collaborative_Perception_via_Supply-Demand_Awareness_and_Intermediate-Late_Hybridization_CVPR_2025_paper.html 核验深度：官方检索元数据与摘要，直接打开403。使用边界：不作为未核验实验细节的来源。

异构节点怎样接入共同表示

• V2X-ViT：研究异构协作中的特征融合
• HEAL：先建立协作基础，再对齐新节点类型
• 实验应留出未参与训练的能力组合

v2xvit · ECCV 2022 · heal · ICLR 2024

V2X-ViT为ECCV 2022，HEAL为ICLR 2024。HEAL作者实现提供分阶段训练步骤及多模态、多编码器设定。课程推演是在接口中携带类型和版本，并测试动态加入；动态成员变更并非上述论文已经完整解决的结论。

来源与阅读边界： - V2X-ViT: Vehicle-to-Everything Cooperative Perception with Vision Transformer. ECCV 2022. https://www.ecva.net/papers/eccv_2022/papers_ECCV/html/4589_ECCV_2022_paper.php 核验深度：官方摘要。使用边界：车辆场景结论不能直接外推 FANET。 - HEAL: An Extensible Framework for Open Heterogeneous Collaborative Perception. ICLR 2024. https://github.com/yifanlu0227/HEAL 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：异构接口扩展仍需验证新模态、版本和动态加入。

新模型加入后，旧模型需要改动吗

• One is Plenty（CVPR 2025）研究不可改动模型之间的异构特征解释
• 阅读时查明：对齐数据、适配开销与版本条件
• 项目实验：替换一种编码器，测量恢复代价

oneplenty · CVPR 2025

本页为有明确问题的拓展阅读。已核对CVF正式题目和会议元数据，直接打开受403限制，尚未据全文核验训练细节。因此不声称其不需要任何配对数据或能够免训练接入所有模型。实验建议属于课程设想。

来源与阅读边界： - One is Plenty: A Polymorphic Feature Interpreter for Immutable Heterogeneous Collaborative Perception. CVPR 2025. https://openaccess.thecvf.com/content/CVPR2025/html/Xia_One_is_Plenty_A_Polymorphic_Feature_Interpreter_for_Immutable_Heterogeneous_CVPR_2025_paper.html 核验深度：官方检索元数据；直接页面403。使用边界：目前仅据官方元数据提出阅读问题，不推断未核验的实现和性能。

研究设想：统一接口，保留类型差异

类型编码器、元数据检查、聚合与本地记忆

用任务监督训练融合，通过新增节点类型和调整模型版本检验接口。

heal · ICLR 2024 · graphsage · NeurIPS 2017

结构设想：不同传感器使用类型编码器，消息携带时间、坐标、来源和版本，聚合器对有效消息做处理，本地记忆供动作头与通信头使用。先固定编码器与消息格式，再训练融合；然后加入量化和通信门控。类型兼容、时效过滤和节点数量泛化分别实验。

来源与阅读边界： - HEAL: An Extensible Framework for Open Heterogeneous Collaborative Perception. ICLR 2024. https://github.com/yifanlu0227/HEAL 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：异构接口扩展仍需验证新模态、版本和动态加入。 - Inductive Representation Learning on Large Graphs. NeurIPS 2017. https://proceedings.neurips.cc/paper/2017/hash/5dd9db5e033da9c6fb5ba83c7a7ebea9-Abstract.html 核验深度：原论文§2与Figure 1；PDF已取得。使用边界：新节点归纳不自动保证新任务泛化。

按阶段训练协作表示

1. 先训练单节点任务模型
2. 固定消息格式，训练融合模块
3. 加入压缩与发送选择
4. 在真实时延和缺测条件下评估

这是课程提出的工程研究路线，不是已有论文已证明的唯一最优训练方式。先固定输入来源和标签，减少同时变化的模块数量。失败时可以定位是表征、通信还是策略问题。

从仿真数据走向真实数据

材料	可用于什么
OPV2V	在可控仿真中比较融合方法
DAIR-V2X	检查真实多模态车路观测

无人机还需要匹配视角、运动与网络记录。

opv2v · ICRA 2022 · dair · CVPR 2022

OPV2V为ICRA 2022并提供OpenCOOD实现，DAIR-V2X为CVPR 2022真实协作数据。两者提供数据与实验组织方法；都不能直接替代无人机闭环数据。划分时应按场景和轨迹隔离，记录数据采样和网络接收时间的区别。

来源与阅读边界： - OPV2V: An Open Benchmark Dataset and Fusion Pipeline for Perception with Vehicle-to-Vehicle Communication. ICRA 2022. https://github.com/DerrickXuNu/OpenCOOD 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：车辆仿真中的传感器与通信设定需要重新匹配无人机。 - DAIR-V2X: A Large-Scale Dataset for Vehicle-Infrastructure Cooperative 3D Object Detection. CVPR 2022. https://openaccess.thecvf.com/content/CVPR2022/html/Yu_DAIR-V2X_A_Large-Scale_Dataset_for_Vehicle-Infrastructure_Cooperative_3D_Object_Detection_CVPR_2022_paper.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：真实数据不等于完整无人机任务闭环。

课堂练习：为消息设计监督信号

任务：两架无人机共同确认一个目标。

• 你希望接收方输出什么？
• 哪些标注可以支持训练？
• 怎样检验消息是否提供了新信息？

预期答案可以是occupancy、资源需求分类和目标关联，但不要求唯一答案。要检查学生是否把文本语义相似当作所有任务的真值，以及是否忘记消息生效时间。

下一讲：从邻居集合到图模型

• 每个节点保留本地表示
• 每条消息携带时间与来源
• 图模型聚合当前可用的邻居信息

W7会先介绍World Model和任务理解。到W8时应继续使用相同消息格式约定，不能因为用了GNN就删除metadata。学生应能解释为何相同维度不等于兼容。