第 9 周 Transformer 与多智能体通信

消息内容、对象、时机与硬预算

石守谦

2027 春季 · 资料核对至 2026-10-15

在有限通信下学习协作

• 交换哪些内容？
• 联系哪些节点？
• 何时发送，发送多少？

连接W8“听多少”与“发多少”。本周需学习Transformer基础，但教学目标不是完整训练大语言模型，而是理解哪些机制可用于节点协作以及哪些额外合同不可省。

从 token 到基础模型

• token 是模型处理的信息单元
• token 可表示文本片段、图像区域或状态
• 预训练提供初始能力，部署效果仍需任务验证

模型token与网络packet不是同一对象。不同token可能具有不同字节大小，文本token数也不能直接代表实际传输开销。基础模型的广泛能力不意味着所有领域无需适配。

智能体的一次决策

• 接收观测与已到达的消息
• 更新本地记忆，判断任务状态
• 选择动作及待发送的消息

避免把Agent定义成“每个节点一定跑一个LLM”。用户希望的分布式自治允许多种实现。系统能力应由输入、动作空间、反馈和执行证据判断。

注意力：按当前需要读取信息

• Query：当前需要查找什么
• Key：每条信息提供什么线索
• Value：匹配之后读取的内容

transformer · NeurIPS 2017

先用补给需求与候选资源摘要解释，再写公式。Query不是必然自然语言，Key也不是节点身份。角色、时间和链路信息可以进入输入，但如何编码需要验证。

来源与阅读边界： - Attention Is All You Need. NeurIPS 2017. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html 核验深度：原论文§3与Figure 1；PDF已取得。使用边界：token 之间可计算不代表无线链路可达。

Q、K、V 的计算

$$Q=XW_Q,\quad K=XW_K,\quad V=XW_V$$ $$\operatorname{Attention}(Q,K,V)=\operatorname{softmax}\!\left(\frac{QK^\top}{\sqrt{d_k}}+M\right)V$$

$M$ 用于屏蔽当前不可使用的信息。

transformer · NeurIPS 2017

承接W8已介绍的softmax。说明X是token特征矩阵，W是训练参数。M对不允许项给极小分数，全部屏蔽时仍需显式回退策略。这里是标准scaled dot-product attention机制。

来源与阅读边界： - Attention Is All You Need. NeurIPS 2017. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html 核验深度：原论文§3与Figure 1；PDF已取得。使用边界：token 之间可计算不代表无线链路可达。

检查矩阵维度

输入包含 3 个 token，每个 token 有 4 维。

• $X$：$3\times4$
• $Q,K$：$3\times2$
• $QK^\top$：$3\times3$

最后一项描述每个查询对各 token 的评分。

让学生核对乘法内维度。不要把输出3×2误认为产生了3条无线发送消息。它首先是一个计算结果，要进入网络仍需明确序列化、接收者和调度。

手算一次注意力读取

评分为 $(\ln3,0)$，归一化后为 $(0.75,0.25)$。

Value 为 $(2,0)$、$(0,4)$：

$$z=0.75(2,0)+0.25(0,4)=(1.5,1)$$

与W8softmax例子一致。教师可增加第三个非法候选，问是否应参与分母。注意结果只是混合表示，是否有可解释含义取决于训练目标。

多头注意力怎样组织信息

不同 head 使用不同的投影参数，对同一输入形成不同的匹配与聚合。

将各 head 的结果 concatenate，再做输出映射。

多个 head 不必对应固定的人类角色，也不会自动分配无线通道。

Transformer · NeurIPS 2017 · §3.2.2

concatenate是在特征维度拼接，前面W6已使用向量表示。可以用一个head关注几何、另一个关注需求作直觉，但这不是训练后必然出现的可解释分工。不要把attention head当物理无线端口。 来源：Vaswani et al., Attention Is All You Need, NeurIPS 2017, §3.2.2。已核对原文。

Transformer 层的组成

组件	作用
Multi-head Attention	交换 token 之间的信息
前馈网络 network	对各 token 的特征做非线性映射
残差连接 connection	将输入与子层输出相加
Layer normalization	对同一 token 的特征做归一化

原始论文采用 Add & Norm 的具体顺序，其他变体可能不同。

Transformer · NeurIPS 2017 · §3.1

先解释Feed-forward network是对每个token使用相同规则的特征变换。Residual要求相加维度兼容。Layer normalization是数值运算，不能理解为消息时间同步或全网状态一致。本页限定为原论文结构。

编码器与解码器的分工

结构	原始序列任务中的功能
Encoder	把输入序列转换为表示
Decoder	根据已生成部分逐步生成输出
Cross-attention	Decoder 查询 Encoder 的表示
Causal mask	阻止使用尚未生成的输出

节点协作可以只使用部分结构，按任务选择即可。

Transformer · NeurIPS 2017 · §3.1–3.2

这里先按原论文翻译任务建立定义，再迁移到节点消息。Cross-attention的Q来自查询侧，K/V来自另一表示集合。不要把所有Foundation Model都称为原始encoder-decoder架构，模型变体需要分别核对。

原论文中的 Transformer 结构

Transformer Figure 1

NeurIPS 2017 · Figure 1

原图左侧是Encoder，右侧是Decoder。让学生指出三种attention关系与Add & Norm位置。图中的箭头描述计算依赖，不能直接作为无人机通信拓扑。图保留原始比例与标记。 来源：Vaswani et al., Attention Is All You Need, NeurIPS 2017, Figure 1。本轮已取得PDF并核对§3。

三种常用屏蔽规则

• 因果屏蔽：排除未来信息
• 可用性屏蔽：排除未到达或失效消息
• 权限屏蔽：排除当前任务无权使用的信息

同一个系统可以叠加多个mask。不能直接把训练真值网络图当availability mask，也不能在收到消息后才做attention就声称降低了发送流量。

为 token 加入时间、位置与角色

• 时间：生成时刻、接收时刻与信息年龄
• 位置：坐标系及相对位置
• 角色：能力、当前任务与资源状态

不要把Transformer文本位置编码直接当真实空间坐标。精确GPS与资源字段仍应有显式通道，模型可使用其派生特征。时间龄值必须说明时钟假设。

图模型与 Transformer 的联系

• 两者都可按关系汇总其他节点的信息
• 图规定候选交互范围
• 注意力为范围内的信息分配权重

gat · ICLR 2018；transformer · NeurIPS 2017

不是把Transformer和GNN列为互斥阵营。GAT本就可以在邻居集合上使用attention。课程重点是模型计算与系统通信的对应关系。

来源与阅读边界： - Graph Attention Networks. ICLR 2018. https://openreview.net/forum?id=rJXMpikCZ 核验深度：官方记录/作者说明。使用边界：attention 权重不等于实际发送决策。 - Attention Is All You Need. NeurIPS 2017. https://proceedings.neurips.cc/paper_files/paper/2017/hash/3f5ee243547dee91fbd053c1c4a845aa-Abstract.html 核验深度：原论文§3与Figure 1；PDF已取得。使用边界：token 之间可计算不代表无线链路可达。

将注意力权重转为实际发送决策

• 接收侧权重描述如何读取信息
• 发送侧还要决定对象、时机和载荷
• 离散选择需要经过调度与预算检查

此页直接连接用户的定向消息设想。要考虑握手和需求广播本身的成本，以及需求信息的过期。可以选择一次摘要或低频缓存，但不能免费读取他人hidden state。

共同决定内容、对象与时机

• 内容：目标、特征、摘要或请求
• 对象：邻居、任务角色或指定节点
• 时机：周期发送、变化触发或请求响应

不要求一次从零联合学习全部决策。可先固定whom和when，只学what；也可先固定内容，比较触发方式。这有利于形成可解释课程项目。

TarMAC：学习有目标的通信

• 学习消息内容与面向对象的匹配
• 通过任务目标训练协作
• 部署前补充离散发送与字节预算约束

tarmac · ICML 2019

ICML2019。依据官方摘要，不宣称该机制直接支持用户全部role-based跨域任务。它也提醒学生，what/whom问题已有长时间研究，创新应定位到具体约束与证据。

来源与阅读边界： - TarMAC: Targeted Multi-Agent Communication. ICML 2019. https://proceedings.mlr.press/v97/das19a.html 核验深度：官方摘要。使用边界：soft targeting 不能直接当作字节预算满足。

通信内容也可以通过任务学习

• CommNet：通过反向传播学习通信
• DIAL：区分训练时的可微通信与执行时的消息
• 项目先明确消息格式，再设计联合训练

commnet · NeurIPS 2016 · dial · NeurIPS 2016

两篇均为NeurIPS 2016。课程用它们建立可学习通信的历史基础；真实通信还存在编码、量化、队列和离散调度。训练可微近似需要在部署协议上验证，不能把中间张量传递当作免费无线通信。

来源与阅读边界： - Learning Multiagent Communication with Backpropagation. NeurIPS 2016. https://proceedings.neurips.cc/paper/2016/hash/55b1927fdafef39c48e5b73b5d61ea60-Abstract.html 核验深度：官方摘要。使用边界：模拟可微信道与真实异步丢包不同。 - Learning to Communicate with Deep Multi-Agent Reinforcement Learning. NeurIPS 2016. https://proceedings.neurips.cc/paper_files/paper/2016/hash/c7635bfd99248a2cdef8249ef7bfbef4-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：训练中的可微信道需要与执行时的离散消息区分。

学习何时通信与怎样组织伙伴

• IC3Net：使用通信门控控制交流
• ATOC：按需要组织通信与信息融合
• 统一计入门控、分组维护及有效载荷的开销

ic3net · ICLR 2019 · atoc · NeurIPS 2018

IC3Net为ICLR 2019，ATOC为NeurIPS 2018。分别作为触发机制与局部协作组织的参考。课程推演的网络适配实验：固定任务和总预算，改变节点密度与分组变更频率，避免只统计被选特征而忽略控制消息。

来源与阅读边界： - Learning when to Communicate at Scale in Multiagent Cooperative and Competitive Tasks. ICLR 2019. https://openreview.net/references/pdf?id=SkHvaITeV 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：门控输出需经过预算与物理可达性检查。 - Learning Attentional Communication for Multi-Agent Cooperation. NeurIPS 2018. https://proceedings.neurips.cc/paper/2018/hash/6a8018b3a00b69c008601b8becae392b-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：应分别测量分组维护和消息交换的代价。

从选择对象到决定发送时机

• Who2com：通过可学习握手寻找协作对象
• When2com：学习通信分组与时机
• 无线网络中，握手和等待也占用资源

who2com · ICRA 2020 · when2com · CVPR 2020

Who2com为ICRA 2020，When2com为CVPR 2020。用于把对象选择与时机选择落到真实交互流程。学生画出请求、响应、数据与超时重试过程；实验应比较稀疏和密集节点环境中的握手成本。

来源与阅读边界： - Who2com: Collaborative Perception via Learnable Handshake Communication. ICRA 2020. https://icra.cc.gatech.edu/papers-with-georgia-tech-authors-at-icra/ 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：需计入握手往返与候选查询的通信开销。 - When2com: Multi-Agent Perception via Communication Graph Grouping. CVPR 2020. https://openaccess.thecvf.com/content_CVPR_2020/html/Liu_When2com_Multi-Agent_Perception_via_Communication_Graph_Grouping_CVPR_2020_paper.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：感知带宽收益需要重新检验动作闭环收益。

三种互补的消息机制

机制	典型用途
周期摘要	维持基本态势
定向消息	回应特定节点的需求
事件通知	传播突发变化与关键发现

这是对第二份Outline的候选接口整理，不是已完成协议。周期广播只规定何时发送摘要，不要求内部状态也只在周期时更新。关键事件能否插队取决于真实调度器。

研究设想：区分本地响应与区域协调

本地观测记忆动作与区域摘要角色计划之间的双向联系

按变化速度安排更新周期，关键事件可触发提前传播。

dream · MobiCom 1998 · atoc · NeurIPS 2018

这是从不同变化速度推导的设计设想。快速环处理本地避障和观测变化，较慢环维护摘要、角色和计划。两者时间尺度并非预先固定常数，可按任务期限确定。对照实验应改变环境突变频率；若慢环延迟造成关键资源错配，需要事件触发或更快协调。

来源与阅读边界： - A Distance Routing Effect Algorithm for Mobility (DREAM). MobiCom 1998. https://www.comp.nus.edu.sg/~bleong/geographic/related/basagni98dream.pdf 核验深度：论文。使用边界：HopCone 不声称这些概念本身新颖。 - Learning Attentional Communication for Multi-Agent Cooperation. NeurIPS 2018. https://proceedings.neurips.cc/paper/2018/hash/6a8018b3a00b69c008601b8becae392b-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：应分别测量分组维护和消息交换的代价。

按角色查找协作对象

• 用能力和任务条件描述需求
• 根据最新摘要寻找候选节点
• 发送前检查角色是否过期及节点是否可达

复习W2并提升到调度问题。不要在模型输出一个role标签后就假设消息送达。给学生一个两个地区同时请求同一补给机的例子，分析全局稀缺资源产生的远端依赖。

把字节预算写成硬约束

$$\sum_k b_kx_k\le B,\qquad x_k\in\{0,1\}$$

• $b_k$：消息的实际编码长度
• $B$：本轮可用预算
• $x_k$：是否选中该消息

soft gate乘以向量但仍发送dense张量，不会减少实际大小。需要稀疏序列化、明确索引和hard scheduler。还应规定紧急保留带宽和超预算行为。

SchedNet：在共享资源中学习调度

• 同时有多个节点希望发送
• 调度机制选择本轮占用资源的节点
• 训练时加入队列、等待与真实预算

schednet · ICLR 2019

ICLR 2019。本文提供学习通信调度的直接参考。队列状态、无线载波侦听和重传是课程拟增加的实际网络因素，应明确哪些属于论文原始设定，哪些是本项目扩展。

来源与阅读边界： - Learning to Schedule Communication in Multi-agent Reinforcement Learning. ICLR 2019. https://openreview.net/pdf?id=HUAnBToP_a 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：学习调度需另行接入真实无线队列与信道竞争。

手算：100 字节预算怎样分配

消息	字节数	估计效用
A	60	9
B	40	8
C	80	12

选择 A+B，使用 100 字节，效用为 17。

这是小型0/1 knapsack例子。效用数值是教学假设，实际需要估计消息对接收决策的增量帮助。若消息效用有冗余或协同，加和模型也会失效。

交互：选择预算内的消息

滑动预算并比较按单条效用的greedy与枚举最优。此处仅三个候选，枚举简单。明确演示不代表实际调度算法已经训练，也不处理随机无线重传。

多跳通信的代价怎样计算

端到端载荷为 100 B，三次发送累计载荷为 300 B；协议头另计。

端到端载荷为 100 B，三次发送累计载荷为 300 B；协议头另计。

不把多跳成本简单写成固定h倍，因为broadcast复用、调度、空间并行与重传会改变。课程原型可以用h倍做简化模型，但必须标明，并用真实网络补验。

消息价值需要结合接收方的状态

• 接收方已经知道的信息，边际收益可能很低
• 同一消息对不同任务的价值不同
• 用受控的消息删减实验估计任务收益

不要把发送方confidence越大就等同于消息价值越大。一个高置信背景区域可能对接收者无用。可设计counterfactual withholding实验：去掉一条消息，观察任务差异。

研究设想：估计一条消息带来的变化

相同场景中保留或删去消息，比较任务结果

行为受到影响之后，还要判断任务是否因此改善。

influence · ICML 2019 · coma · AAAI 2018

ICML 2019的社会影响研究用反事实思想评估行为影响；AAAI 2018的COMA研究团队回报下的信用分配。这里提出受控消息删减的任务效用估计，属于课程设想。固定外生场景与种子，改变是否提供消息，并允许后续决策产生分歧。存在强交互时，单消息边际值依赖上下文，不能称为唯一真实价值。

来源与阅读边界： - Social Influence as Intrinsic Motivation for Multi-Agent Deep Reinforcement Learning. ICML 2019. https://proceedings.mlr.press/v97/jaques19a.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：行为影响不直接等于任务改善；消息价值仍需单独检验。 - Counterfactual Multi-Agent Policy Gradients. AAAI 2018. https://ojs.aaai.org/index.php/AAAI/article/view/11794 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：反事实动作基线不能直接当作消息价值的真实标签。

交换模型内部激活

• ICML 2025 研究语言模型之间的激活交换
• 可作为自然语言消息之外的表示选择
• 需验证模型兼容性、传输量与误差传播

activation · ICML 2025

依据ICML2025官方摘要。论文中的计算节省不能直接等同于无线字节节省。不要将其结论推广为任意异构模型都能直接交换hidden state。

来源与阅读边界： - Communicating Activations Between Language Model Agents. ICML 2025. https://proceedings.mlr.press/v267/ramesh25a.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：模型兼容性、传输量和网络时延需另测。

G-Designer：根据任务构造协作图

• 用图神经网络组织智能体交互
• 将任务信息带入拓扑设计
• 无线部署需要增加物理可达性与传输成本

gdesigner · ICML 2025

原文主要任务与本课物理无人机存在设定差异。这里保留可迁移的研究问题，但不使用其benchmark数字作为飞行任务表现。

来源与阅读边界： - G-Designer: Architecting Multi-agent Communication Topologies via Graph Neural Networks. ICML 2025. https://proceedings.mlr.press/v267/zhang25cu.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：没有证明该图可在无线多跳网络低成本执行。

SOPS：在稀疏结构中选择连接

• 在有限候选关系中评估协作价值
• 为扩大智能体规模提供方法参考
• 物理无线连接还受到运动与共享信道限制

sops · ICML 2026

MARL在这里指多Agent通过任务收益学习策略，完整训练将在W10讲授。不要把end-to-end一词当作物理可执行性的证据。本页机制描述限定于官方摘要。

来源与阅读边界： - Sparse Topology-Aware Pairwise Scoring for Large-Scale Multi-Agent Reinforcement Learning. ICML 2026. https://proceedings.mlr.press/v306/deng26n.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：exponential graph backbone 不是物理无线可达图。

LMAC：利用语言模型指导通信

• 以状态感知为线索优化通信协议
• 为协议生成与评价提供研究思路
• 训练时继续检查任务收益与实际开销

lmac · ICML 2026

依据ICML2026官方摘要。不要推断每个无人机每次发送都要实时调用LLM。协议设计阶段和运行阶段的计算位置、次数应从原文进一步核对后才实现。

来源与阅读边界： - LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning. ICML 2026. https://proceedings.mlr.press/v306/bae26c.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：state reconstruction 不自动等于任务效用或安全。

EvoCF：从记忆与反事实规划中学习

• 利用历史经验组织协作规划
• 对候选计划进行反事实评价
• 机载计算、网络时延与闭环安全需要另测

evocf · ICML 2026

“慢速”是课程对可能部署位置的设计建议，不是论文给出的毫秒基准。这里不能把自然语言输出直接连接速度控制。计划需转换为W2合同，并接受规则与资源检查。

来源与阅读边界： - EvoCF: Multi-Agent Collaboration via Agentic Memory-Driven Evolutionary Counterfactual Planning. ICML 2026. https://proceedings.mlr.press/v306/chi26b.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：embodied simulation 不证明机载实时性能。

把近期工作放回课程问题

工作	可以借鉴的环节
激活通信	消息表示
G-Designer / SOPS	协作对象选择
LMAC	协议优化
EvoCF	记忆与计划评价

共同检查：输入条件、通信假设和部署成本。

activation · ICML 2025；gdesigner · ICML 2025；sops · ICML 2026；lmac · ICML 2026；evocf · ICML 2026

这是课程综合比较。不能将五篇论文叠加后声称完整系统已实现。让学生指出至少两个组合接口：模型版本兼容、消息schema、Physical graph投影或任务反馈。

来源与阅读边界： - Communicating Activations Between Language Model Agents. ICML 2025. https://proceedings.mlr.press/v267/ramesh25a.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：模型兼容性、传输量和网络时延需另测。 - G-Designer: Architecting Multi-agent Communication Topologies via Graph Neural Networks. ICML 2025. https://proceedings.mlr.press/v267/zhang25cu.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：没有证明该图可在无线多跳网络低成本执行。 - Sparse Topology-Aware Pairwise Scoring for Large-Scale Multi-Agent Reinforcement Learning. ICML 2026. https://proceedings.mlr.press/v306/deng26n.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：exponential graph backbone 不是物理无线可达图。 - LLM-Guided Communication for Cooperative Multi-Agent Reinforcement Learning. ICML 2026. https://proceedings.mlr.press/v306/bae26c.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：state reconstruction 不自动等于任务效用或安全。 - EvoCF: Multi-Agent Collaboration via Agentic Memory-Driven Evolutionary Counterfactual Planning. ICML 2026. https://proceedings.mlr.press/v306/chi26b.html 核验深度：官方摘要已核对；Link端PDF下载超时。使用边界：embodied simulation 不证明机载实时性能。

消息协议要携带版本信息

• 编码器和特征格式的版本
• 数据类型、量化方式与坐标约定
• 不兼容时的拒收与回退规则

用户关注跨域与动态成员，这会让版本问题更突出。可使用显式语义结果兼容不同内部模型，也可训练adapter，但这些都需要额外证据，不能默认免费。

集中训练与分布式执行

• 训练时可使用全局信息评估策略
• 每个执行节点只读取本地可用输入
• 明确训练信息与执行信息的边界

即时定义RL是利用交互收益优化行为；CTDE是centralized training, decentralized execution。正式credit assignment和算法细节交W10，不在本周堆叠训练框架。

集中训练有哪些常见组织方式

方法	训练侧的组织方式
MADDPG	集中式评价器
QMIX	对联合价值作单调分解
MAPPO	基于 PPO 的协作训练基线

比较前固定执行输入、训练预算与网络条件。

maddpg · NeurIPS 2017 · qmix · ICML 2018 · mappo · NeurIPS 2022 · Datasets and Benchmarks

三篇分别为NeurIPS 2017、ICML 2018、NeurIPS 2022 Datasets and Benchmarks。这里只组织训练范式的拓展阅读，原理与实现留到W10—W12相关讲授。QMIX适用离散动作并有单调结构限制；MAPPO的强结果提醒学生选择合适基线。不能预设某一算法在无人机网络中始终最佳。

来源与阅读边界： - Multi-Agent Actor-Critic for Mixed Cooperative-Competitive Environments. NeurIPS 2017. https://proceedings.neurips.cc/paper_files/paper/2017/hash/68a9750337a418a86fe06c1991a1d64c-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：不能据此假设每个机载节点都能读取全局状态。 - QMIX: Monotonic Value Function Factorisation for Deep Multi-Agent Reinforcement Learning. ICML 2018. https://proceedings.mlr.press/v80/rashid18a.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：单调分解有表达限制；训练全局信息不应进入执行输入。 - The Surprising Effectiveness of PPO in Cooperative Multi-Agent Games. NeurIPS 2022 · Datasets and Benchmarks. https://proceedings.neurips.cc/paper_files/paper/2022/hash/9c1535a02f0ce079433344e14d910597-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：多种游戏基准上的效果需要在目标网络和任务中复查。

阅读 RAC：逐项核对信息条件

• 研究完全去中心化的协作学习
• 核查状态与共享回报的可获得性
• 局部传感网络需重新设计输入与评价方法

rac · NeurIPS 2025

NeurIPS2025。将states可访问性这一细节讲清，防止学生因为标题fully decentralized就认定训练问题完全解决。episode是一次完整任务回合，本课实际系统也可能没有明确同步回合。

来源与阅读边界： - In-Context Fully Decentralized Cooperative Multi-Agent Reinforcement Learning. NeurIPS 2025. https://papers.neurips.cc/paper_files/paper/2025/hash/d925bda407ada0df3190df323a212661-Abstract-Conference.html 核验深度：官方摘要。使用边界：摘要设定可访问 states 和 shared rewards，不能等同局部传感 FANET。

逐步减少中心节点的参与

• 先明确中心提供了哪些信息与指令
• 分别移除全局状态、统一调度和在线规划
• 观察任务收益、故障恢复与通信开销

中心参与度是多维变量，不只报告一个比例。比较时固定硬件与任务难度，记录中心实际获得的信息。分散方案不应额外使用未计费的全局教师。

最小训练与消融方案

• 无通信、固定通信、学习通信
• 相同网络条件与总预算
• 分别移除时间信息、记忆和发送选择

按上一周基线逐步扩展，不能同时改encoder、发送频率和输出头后把全部收益归因于semantic communication。消融应保留实际预算和可用输入。

研究设想：逐步训练协作系统

单节点任务、固定消息融合、预算选择、分工与闭环微调

每一阶段都保留独立基线，定位性能变化的来源。

dagger · AISTATS 2011 · disconet · NeurIPS 2021 · schednet · ICLR 2019

建议先训练可获得监督的任务输出，再固定消息训练融合，然后在实际预算内学习内容和门控，最后加入角色与运动的有限联合微调。动作学习可先模仿专家，再根据任务需要引入强化学习；不要求所有模块从零联合训练。检验每阶段收益，并检查网络分布变化后的性能。

来源与阅读边界： - A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning. AISTATS 2011. https://proceedings.mlr.press/v15/ross11a.html 核验深度：官方摘要/论文。使用边界：专家可用性与查询成本需要考虑。 - Learning Distilled Collaboration Graph for Multi-Agent Perception. NeurIPS 2021. https://proceedings.nips.cc/paper_files/paper/2021/hash/f702defbc67edb455949f46babab0c18-Abstract.html 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：测试学生时需去除教师额外输入。 - Learning to Schedule Communication in Multi-agent Reinforcement Learning. ICLR 2019. https://openreview.net/pdf?id=HUAnBToP_a 核验深度：官方摘要或作者项目说明；未宣称全文精读。使用边界：学习调度需另行接入真实无线队列与信道竞争。

课堂讨论：你的系统还缺哪一环

• 候选消息怎样产生？
• 接收方怎样使用消息？
• 拥塞和失联怎样进入训练？
• 哪项实验能够否定设计假设？

教师反馈聚焦设定与证据，避免按网络结构复杂度评分。高质量负结果也可能说明逻辑图与Physical graph之间的重要缺口。

将方法落实到课程项目

• 明确本地输入、消息协议与动作空间
• 给出可运行的基线与训练流程
• 在期中展示前完成一项网络扰动实验

提醒学生下一步不必同时采用全部训练机制。先确认消息确实改变可执行决策，再讨论大模型规模或端到端联合训练。