第 15 周 项目实验、测试与优化

公平比较、因果诊断与负结果

石守谦、刘一

2027 春季 · 资料核对至 2026-10-15

怎样判断实验支持了什么结论

• 结果是否稳定？
• 增益来自哪项机制？
• 失败发生在什么条件下？

先回顾W13冻结的问题合同。若本次已换任务或数据，应明确哪些结果可以比较，不能悄悄更新故事后继续使用旧baseline。

课堂安排：实验诊断

• 指标与统计示例：20 分钟
• 分组检查实验：40 分钟
• 失败案例讨论：20 分钟
• 确定补充实验：10 分钟

90分钟安排：指标与统计示例20分钟，分组检查40分钟，失败案例讨论20分钟，确定补充实验10分钟。按组数安排巡回反馈。

同时观察任务、网络与资源

层面	示例指标
任务	完成率、精度、完成时间
网络	投递率、时延、信息年龄
资源	总字节、信道占用、计算与能耗

不要只报告AP或准确率就结束。统计单位也要说明，是frame、packet、node还是独立任务run。层面之间可能存在取舍，允许展示Pareto关系。

空间、时间与异构性需要分别测试

• CoBEVT：协作鸟瞰图中的稀疏注意力
• CoopTrack：顺序协作感知的近期阅读入口
• 分别改变视角、时延与节点类型，再检查组合变化

cobevt · CoRL 2022 / PMLR 2023 · cooptrack · ICCV 2025

CoBEVT为CoRL 2022、出版于PMLR 2023；官方摘要支持协作BEV与稀疏Transformer的描述。CoopTrack仅已核验ICCV 2025元数据，故本页仅作为顺序协作感知的阅读入口，具体结构和性能须全文核验。组合分布漂移实验是课程建议。

来源与阅读边界： - CoBEVT: Cooperative Bird’s Eye View Semantic Segmentation with Sparse Transformers. CoRL 2022 / PMLR 2023. https://proceedings.mlr.press/v205/xu23a.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：稀疏计算与实际无线传输开销需分别测量。 - CoopTrack: Exploring End-to-End Learning for Efficient Cooperative Sequential Perception. ICCV 2025. https://openaccess.thecvf.com/content/ICCV2025/html/Zhong_CoopTrack_Exploring_End-to-End_Learning_for_Efficient_Cooperative_Sequential_Perception_ICCV_2025_paper.html 核验深度：官方检索元数据；直接页面403。使用边界：目前仅核对官方元数据，详细网络与实验设置需全文核验。

用配对实验比较完成时间

同一组场景中，新方法减去基线：

$$[-2,-1,3,-4]\;\mathrm{s},\qquad \overline{\Delta}=-1\;\mathrm{s}$$

平均缩短 1 秒；仍需检查波动与变慢的场景。

paired指同一场景seed和输入分别跑基线与方案。不要把4个样本当充分统计证据。追查第三个场景可能存在拥塞或关键消息丢失，而不是直接删除异常点。

重复实验与置信区间

• 使用多个独立场景或随机种子
• 报告均值及不确定范围
• 保留逐次结果，避免只展示最佳运行

置信区间不是成功概率，也不是简单描述本次样本范围。课程允许小规模实验，但必须坦诚不确定性。不要固定规定所有任务都跑某个数量后就足够。

把通信预算算完整

• 应用消息与协议头
• 中继、重传与控制消息
• 模型参数同步及角色维护

分别报告端到端载荷与网络总开销。

检查学生是否仅统计float tensor大小。若没有真实PHY/MAC，必须说明哪些开销采用简化模型，哪些尚未测量。不能把简化仿真直接称为真实空口吞吐。

消融实验怎样对应研究问题

假设	对应实验
时间信息有效	移除时间戳与信息年龄
记忆改善失联恢复	移除记忆，改变失联时长
选择机制节省资源	相同预算下使用固定选择

表格仅为消息选择项目模板，其他项目按机制更改。不同方案encoder或模型规模有差异时需标注，避免把额外参数贡献归入age feature。

让网络扰动进入训练与测试

• 训练：重放时间戳、队列与连续失联记录
• 测试：留出新的负载、拓扑和失联模式
• 比较：相同资源约束下的任务与恢复效果

aoi · INFOCOM 2012 · asyncac · NeurIPS 2022 · timeconnect · RSS 2026

随机独立丢包不足以模拟移动遮挡或共享拥塞。建议分别设置突发丢包、链路不对称、队列积压与节点加入退出。保持无线模型和调度约束一致；时延由自身策略造成时，开环重放只能做诊断，最后仍需闭环验证。

来源与阅读边界： - Real-time status: How often should one update?. INFOCOM 2012. https://www.iiitd.edu.in/~skkaul/Papers/Infocom2012.pdf 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：及时更新需要同时考虑排队；吞吐量不能独立解释新鲜度。 - Asynchronous Actor-Critic for Multi-Agent Reinforcement Learning. NeurIPS 2022. https://proceedings.neurips.cc/paper_files/paper/2022/hash/1c153788756d35559c22d105d1182c30-Abstract-Conference.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：动作持续时间不同与数据包异步到达仍需分别建模。 - Time-Aggregated Connectivity Maintenance for Multi-Robot Networks. RSS 2026. https://www.roboticsproceedings.org/rss22/p043.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：CBF 保证受模型与可行性假设限制，不等于无线投递保证。

从日志中区分失败原因

• 感知：漏检、误检或坐标错误
• 通信：未到达、过期或重复
• 决策：收到正确信息仍采取错误动作
• 执行：动作受限或资源耗尽

先按事件链定位，不用“模型不够大”解释一切。要求至少保留消息产生、发送、接收、决策和执行结果几个时间点，便于找到最早偏离预期的位置。

案例：迟到消息覆盖了新状态

• 先收到序号 12，再收到序号 10
• 按到达顺序覆盖会使状态倒退
• 修正后重放同一日志，检查任务结果

现场请学生指出应比较哪个字段。若允许回填历史用于平滑，需要明确它不会改变已经执行过的决策；离线回放与在线处理的语义要分开。

全局信息基准怎样使用

• 将完整信息策略作为参考上限
• 为它单独标明额外输入与资源
• 评价本地方法在实际约束下接近参考的程度

不是禁止使用teacher或oracle，而是要求其角色透明。很多所谓分散执行其实仍依赖中心生成精细动作，应该报告命令粒度与使用频率。

没有改善的结果仍能回答问题

• 哪些条件下没有收益？
• 代价是否超过新增信息的价值？
• 是否需要缩小原来的适用范围？

不要奖励没有认真实现的失败，也不要只奖励正向结果。高质量负结果应排除基础bug和明显弱baseline，并指出还能区分的竞争性解释。

最后阶段优先补哪些实验

1. 验证主要结论所缺的证据
2. 核查最严重的失败案例
3. 检查最关键的消融
4. 确认完整运行可以复现

让每组按影响结论的程度排序。时间有限时不要求全量拓展新数据集或更多花哨图。下一轮实验应回答一个尚不确定的问题。

答辩前整理证据

• 一张主要结果图
• 一张关键消融图
• 一条完整失败日志
• 配置、数据划分与运行入口

与申报书允许代码或实验材料保持一致，不额外强制真实飞行。真实系统若无条件测试，可以明确留在模拟或离线层面，并避免扩大结论。