在工业控制、流程制造、高端装备、无人系统等领域，我们常常希望人工智能系统能够基于历史数据做出“聪明”的决策。例如，让一台无人搬运车在复杂厂房中自主规划最优路径，或者让一个化工生产系统自动调节参数以提升能效。 然而，现实中这些系统往往面临一个根本性难题：如何在不确定的环境中做出安全、可靠的决策？ 问题根源：模型与现实的差距 无论是控制算法还是强化学习模型，我们通常会用历史数据训练一个“环境模型”，用来预测在某种状态下执行某个动作会带来什么结果。但模型终究不是现实，它总会存在误差。 以往的方法会通过“多个模型投票

在现代化的工业场景中，我们常常看到多个智能系统需要协同工作：比如一队无人搬运车在仓库中自动调度、多个机械臂在装配线上协同作业、或者在整个化工流程中多个控制单元协同调整参数。这些系统如果缺乏有效的信息交互，就容易出现决策冲突、效率低下甚至安全事故。 然而，如果让它们频繁地通信，又会带来新的问题：通信负担重、响应延迟高、系统整体可靠性下降。这就好比一个团队中如果每个人随时都在汇报，反而会淹没关键信息，影响整体效率。 智能体之间，如何“少说话、多做事”？ 在多智能体协同工作中，每个智能体通常只能感知局部环境，就像工

在工业控制、高端装备、流程制造和无人系统等领域，智能决策系统正逐渐成为提升自动化水平的核心。然而，这些系统在实际应用中面临一个关键挑战：如何在仅使用历史数据、不与真实环境交互的情况下，学习到既安全又高效的决策策略？这就是“离线强化学习”要解决的核心问题。 离线强化学习的价值与困境 与需要不断试错的“在线学习”不同，离线强化学习直接从已有的历史数据中学习策略。例如，我们可以利用工厂过去的生产记录、无人车以往的行驶数据、或者某条流程产线的操作日志，来训练一个智能控制模型，而无需在真实环境中反复调试。 然而，这类方

在智能制造、物流调度、无人系统协同等工业场景中，常常需要多个智能体（如机器人、无人车、机械臂等）协同完成复杂任务。然而，传统智能控制策略往往“一事一训”，一旦任务目标或设备数量发生变化，原有策略就容易失效，需要重新训练，成本高、周期长。系统能否在任务变化时依然保持智能协作，是实现真正“工业智能”的关键难题。 南京大学与南栖仙策团队提出了一种名为 ODIS 的离线多智能体强化学习新方法，它能够从历史任务数据中自动提炼出通用的“协作技能”，并直接迁移到新任务中，无需重新交互训练。该工作已被ICLR’23会议收录，为多智能体