在工业控制、流程制造、高端装备、无人系统等领域，我们常常希望人工智能系统能够基于历史数据做出“聪明”的决策。例如，让一台无人搬运车在复杂厂房中自主规划最优路径，或者让一个化工生产系统自动调节参数以提升能效。 然而，现实中这些系统往往面临一个根本性难题：如何在不确定的环境中做出安全、可靠的决策？ 问题根源：模型与现实的差距 无论是控制算法还是强化学习模型，我们通常会用历史数据训练一个“环境模型”，用来预测在某种状态下执行某个动作会带来什么结果。但模型终究不是现实，它总会存在误差。 以往的方法会通过“多个模型投票

在现代化的工业场景中，我们常常看到多个智能系统需要协同工作：比如一队无人搬运车在仓库中自动调度、多个机械臂在装配线上协同作业、或者在整个化工流程中多个控制单元协同调整参数。这些系统如果缺乏有效的信息交互，就容易出现决策冲突、效率低下甚至安全事故。 然而，如果让它们频繁地通信，又会带来新的问题：通信负担重、响应延迟高、系统整体可靠性下降。这就好比一个团队中如果每个人随时都在汇报，反而会淹没关键信息，影响整体效率。 智能体之间，如何“少说话、多做事”？ 在多智能体协同工作中，每个智能体通常只能感知局部环境，就像工

在工业控制、高端装备、流程制造和无人系统等领域，智能决策系统正逐渐成为提升自动化水平的核心。然而，这些系统在实际应用中面临一个关键挑战：如何在仅使用历史数据、不与真实环境交互的情况下，学习到既安全又高效的决策策略？这就是“离线强化学习”要解决的核心问题。 离线强化学习的价值与困境 与需要不断试错的“在线学习”不同，离线强化学习直接从已有的历史数据中学习策略。例如，我们可以利用工厂过去的生产记录、无人车以往的行驶数据、或者某条流程产线的操作日志，来训练一个智能控制模型，而无需在真实环境中反复调试。 然而，这类方

在智能制造、物流调度、无人系统协同等工业场景中，常常需要多个智能体（如机器人、无人车、机械臂等）协同完成复杂任务。然而，传统智能控制策略往往“一事一训”，一旦任务目标或设备数量发生变化，原有策略就容易失效，需要重新训练，成本高、周期长。系统能否在任务变化时依然保持智能协作，是实现真正“工业智能”的关键难题。 南京大学与南栖仙策团队提出了一种名为 ODIS 的离线多智能体强化学习新方法，它能够从历史任务数据中自动提炼出通用的“协作技能”，并直接迁移到新任务中，无需重新交互训练。该工作已被ICLR’23会议收录，为多智能体

在智能工厂、无人码头或自动化仓库中，我们正目睹着这样的场景：多台AGV（自动导引运输车）协同搬运物料，机械臂与传送带精密配合，无人机群协作进行巡检。这些智能系统正从“单兵作战”走向“群体智能”。然而，一个核心的挑战也随之浮现：当系统中加入新的、未经验证的智能设备，或需要与人类操作员临时协作时，现有的智能体往往显得“手足无措”，协作效率急剧下降。 这就像一支训练有素的篮球队，突然换上一位新队员，即便他个人技术出色，整个团队的配合也会出现短暂的混乱与生疏。在工业领域，这种“协作不适配”可能导致产线停顿、任务失败，

生产线机械臂因传感器覆盖有限无法感知设备内部磨损，无人搬运车在动态环境中需预测障碍物轨迹，化工反应器需根据局部参数推测全流程状态。这些场景都面临着一个共同的挑战：如何让人工智能系统像人类一样，在信息不全、环境多变的条件下做出可靠决策？ 南栖仙策和南京大学团队提出的通用世界模型构建范式 WHALE为这类问题提供了新解法。该技术通过构建更强大的“世界模型”，显著提升了智能系统在复杂工业场景中的决策可靠性和适应性，可以为工业场景带来重大变革。 在高端装备生产制造车间，机械臂需要执行精密装配任务。传统控制系统依赖预设程序

在工业控制、高端装备制造、化工流程优化或无人智能装备等领域，许多任务面临着一个共同挑战：系统无法获取环境的完整信息。例如，化工反应器中某些关键参数难以实时监测，自动驾驶车辆可能因障碍物遮挡丢失部分视野，或工业机器人因传感器限制无法感知设备的全部状态。这类问题在学术上被称为“部分可观测决策问题”（POMDP），而传统的人工智能算法在此类场景中往往表现不稳定。 南栖仙策和南京大学团队提出了RESeL强化学习算法，为解决这一问题提供了新思路。该算法通过优化循环神经网络（RNN）的训练过程，显著提升了系统在复杂、信息不全环境下

在复杂的工业控制与高端装备领域，人工智能系统正逐渐承担起关键任务——从机器人精准抓取、流水线动态调度，到无人车在多变环境中的自主导航。然而，这些系统在实际部署中常常面临一个共性难题：如何用有限的数据，让机器学会适应未曾见过的新环境？ 传统的智能控制系统依赖于大量、多样化的数据来训练模型。但在真实的工业场景中，收集全面数据往往不现实：比如一台工业机器人可能只在特定负载、特定光照下运行过；一条产线可能只在固定物料流速下调试过；一台无人装备可能只在晴天测试过。一旦环境条件发生变化——如负载加重、物料黏性变化、天气