灵初智能联合北京航空航天大学、北京大学、香港中文大学最新推出研究成果《Frequency-Aware Flow Matching for Continuous and Consistent Robotic Action Generation》被 NeurIPS 2026 主会录用。
论文链接：https://arxiv.org/abs/2606.20135
论文提出频率感知流匹配方法 FAFM（Frequency-Aware Flow Matching），面向机器人动作生成中两个长期存在、又容易被忽略的问题：不同采集频率的数据如何共同训练？预测出的动作如何在时间上更加平滑、一致？FAFM 给出的答案是：不再仅把动作看作固定步数的离散序列，而是用频域系数描述物理时间中的连续轨迹；在流匹配生成动作的同时，显式学习轨迹的变化趋势。方法无需增加额外可学习参数，可用于独立生成式控制策略，也可接入π₀、π₀.₅等主流视觉-语言-动作（VLA）模型。
当数据来自不同机器人，时间是否被正确理解？
当前生成式机器人策略往往一次输出一段动作序列（Action Chunk）。这样的表示方便训练和批量预测，却暗含一个前提：动作序列中的第 k 个位置，在不同数据中应当对应可比较的物理时刻。
现实情况未必如此。不同机器人与采集管线的控制频率可以相差数倍；同样持续一秒的运动，5 Hz、10 Hz 和 20 Hz 采样记录的动作数量完全不同。如果模型只根据动作序号学习，而忽略真实时间轴，同一个动作位置便可能对应不同的运动阶段。来自不同频率的正确示教，反而可能给出相互冲突的监督信号。而如果采用下采样与插值的方式进行频率的统一则可能会造成数据信息的损失，也会直接造成模型性能的下降。
与此同时，模型即使对每个离散动作点的误差都不大，相邻时刻的误差叠加起来仍可能形成抖动，影响抓取、避障与柔性物体操作的稳定性。
这也是 FAFM 的切入点：让模型学习的是“动作随物理时间如何演化”，而非仅仅学习“第几个动作应该是什么”。
FAFM：用频率描述运动，再生成连续动作
FAFM 的核心不是推理时增加滤波器，而是同步改变动作表示与训练目标。整个方法由频域参数化、系数空间流匹配，以及一阶时间导数监督组成。
步骤一：将异频示教映射到相同的物理时间尺度
对一段固定物理时长的示教轨迹，FAFM 利用离散余弦变换（DCT-II）提取频域系数。低频分量捕捉运动的整体走势，更高频分量描述轨迹变化的细节。
关键在于，系数对应固定的真实时间范围，而不是绑定某一个固定采样频率。因此，相同的物理运动即便以不同频率采样，其对应的连续轨迹系数仍可以在离散近似误差范围内保持一致。
这将原本相互冲突的动作位置监督，转换为更一致的轨迹形状监督，为跨设备、跨采集频率的数据联合训练提供了新的处理方式。
步骤二：在系数空间进行 Flow Matching，连续查询动作
传统流匹配动作策略直接预测离散动作块；FAFM 则对频域系数执行流匹配，再通过余弦基函数重建任意物理时刻的动作。
其连续轨迹可写为：
步骤三：让模型不仅预测动作，还预测动作的变化趋势
连续表示本身不等于运动足够平滑。FAFM 进一步利用余弦展开可以解析求导的性质，直接约束动作的一阶时间导数：
在训练中，原本的流匹配损失与时间导数监督联合优化：
从频域角度看，这相当于更重视高频误差：频率越高，相关系数误差受到的惩罚越强。它与 Sobolev 型约束相联系，使网络不仅拟合动作数值，也学习动作在时间上的合理变化。论文的方法发生在动作表征及训练目标层面，不需要额外增加网络或可学习参数。
从动作生成到真实部署，FAFM 带来了哪些提升？
机器人动作生成的目标，不只是预测一组正确的动作数值，更要让机器人在复杂环境中选择合理的运动轨迹，并将动作连续、稳定地执行出来。
为验证 FAFM 的实际效果，研究团队从多模态轨迹生成、复杂避障、精细操作以及真实机器人部署等多个层面展开实验，并进一步将其接入主流视觉—语言—动作模型，检验方法在不同任务和模型架构下的适用性。
既要灵活，也要平滑：让机器人生成多样化的运动轨迹
在真实环境中，完成一项任务往往不只有一条正确路径。例如，机械臂绕过障碍物时，可以从左侧或右侧通行，也可以选择不同的运动姿态。这对生成式策略提出了两方面要求：既要能够学习多种可行的动作模式，又要保证每一种动作在执行时足够平滑。
团队在具有多个障碍物的机械臂避障任务中验证这一能力。FAFM 能够生成多条不同的可行路径，在测试中取得最高 61% 的任务成功率，并覆盖 12 种有效轨迹模式，同时表现出较好的运动平滑性。这意味着，FAFM 并不是通过将所有动作简单平均来消除抖动，而是在保留动作选择空间的同时，提高每条生成轨迹的时间一致性。
面向精细操作：在复杂接触任务中实现稳定控制
相比常规的刚性物体抓取，柔性物体操作对动作质量提出了更高要求。在绳线穿引、组织牵引等任务中，机械臂需要持续调整位置与运动方向。即使最终动作目标正确，执行过程中的不必要振荡也可能影响操作效果。
研究团队在机器人手术仿真环境中，评估了 FAFM 在四类精细操作任务上的表现，包括绳线穿引、抓取抬升接触、双手组织操作以及套环结扎。
实验中，FAFM 在四项任务上分别取得 97%、100%、99% 和 100% 的成功率，同时在运动平滑度指标上表现出优势。除了最终任务表现，FAFM 在多项任务中还展现出更快的训练收敛趋势，说明连续动作表示与时间导数监督不仅影响动作执行质量，也可以改善策略的学习效率。
实验验证了 FAFM 在高精度、连续接触类机器人任务中的应用潜力：机器人需要的不仅是准确抵达目标位置，还包括在整个操作过程中保持合理、稳定的运动状态。
走向真实机器人：任务成功率提升 10-15 个百分点
算法的实际价值，最终需要通过真实物理环境中的机器人操作来验证。
研究团队在 Franka 机械臂平台上开展了真机实验。团队将 FAFM集成到π₀.₅中，针对目标位置变化的抓取放置任务，以及包含多个障碍物的路径规划与避障任务进行测试。
在两项任务中，原始π₀.₅的成功率均为 80%。引入FAFM后，抓取放置任务成功率达到 95%，提高 15 个百分点；多障碍物避障任务成功率达到 90%，提高 10 个百分点。
实验观察表明，改善动作轨迹的平滑性，有助于减少执行中的目标错失与障碍物碰撞等问题，使生成动作更加符合真实机器人对连续控制的要求。
从动作分布建模，到柔性物体精细操作，再到主流 VLA 模型和真实机械臂部署，FAFM 展示了频域连续动作生成的应用潜力。其价值并不只是让机器人的运动曲线更加平滑，而是让动作生成模型在保持任务能力的同时，更好地适应真实物理执行对稳定性与连续性的要求。
面向真实具身智能，动作表示为何值得重视？
随着真实世界数据规模不断扩大，机器人学习面对的不再只是数据够不够，还包括不同数据能不能放在一起学。不同机器人本体、传感器与控制栈记录的数据，往往具有各自的时间分辨率。
FAFM 提示我们：在图像、语言和动作维度对齐之外，对物理时间的正确建模同样重要。另一方面，真实部署中的动作质量不能只用最终成功率概括。动作是否平滑、控制是否稳定、对轻微机械偏置是否敏感，都会影响机器人在复杂场景中的可靠操作。FAFM为这些问题提供了不额外扩大网络规模的技术选择，其价值在于让跨频率示教训练与连续物理执行之间建立更加自然的联系。
对于持续推进具身数据采集、灵巧操作模型和真实场景应用的灵初智能及合作研究团队而言，这项研究为异构示教数据利用与动作执行优化提供了值得进一步探索的技术方向。