本文的第一作者为北京大学王选计算机研究所博士生高嘉怿，通讯作者为博士生导师刘洋。团队近年来在 TPAMI、CVPR、ICCV、ICML 等顶会上有多项代表性成果发表，多次荣获多模态感知和生成竞赛冠军，和国内外知名高校、科研机构广泛开展合作。

本文主要介绍该团队的最新论文：Taming I2V models for Image HOI Editing: A Cognitive Benchmark and Agentic Self-Correcting Framework。

本文面向复杂人 - 物交互（Human-Object Interaction, HOI）图像编辑任务，提出首个层级化认知评测基准 HOI-Edit，系统刻画模型在基础交互编辑、上下文空间理解、因果与物理推理三类能力上的表现。

针对现有全局指标难以判断 “具体人与具体物体是否真正发生正确交互” 的问题，本文进一步提出基于成对区域 grounding 的自动评测协议 HOI-Eval，通过目标区域关联、身份一致性验证和交互 / 合理性问答，更可靠地评估编辑结果。

在此基础上，本文发现图生视频（I2V）模型天然适合重构动态交互过程，并提出 SCPE（Self-Correcting Process Editing） 多智能体系统自纠错框架：利用视频生成过程暴露失败原因，再通过分析、反思和工具书更新迭代增强提示，使 I2V 模型在复杂 HOI 编辑中显著提升交互准确性与推理能力。

目前该研究已被 ICML 2026 正式接收，相关数据集、代码均已开源。



从 “改像素” 到 “改交互”：图像编辑的新挑战

本文聚焦的是图像编辑中更具挑战性的一类任务：人物交互编辑。传统指令式图像编辑在修改颜色、风格、物体属性等静态内容上已取得显著进展，但当指令变成 “拿起桌上的某个苹果”“把碗放下”“清理扶手箱内部” 时，模型面对的不再是简单的局部重绘，而是需要真正理解人与物体之间的交互关系。

这类任务的难点在于，模型必须同时满足多重约束：既要保持原图中人物和物体的身份，又要理解场景中的空间指代，还要推理动作发生的过程和物理后果。例如，当图中存在多个相似工具时，模型可能拿错目标；当任务要求 “清理扶手箱内部” 时，模型还需要先打开扶手箱，再完成清理动作。这些能力已经远超普通静态属性编辑的范畴。

然而，现有图像编辑基准往往将 HOI 与普通属性修改混在一起，评价指标也多依赖 CLIPScore 等全局相似度或单独实体检测，难以回答两个关键问题：目标人物和目标物体是否被准确保留？二者之间的交互是否真的发生，并且符合上下文逻辑？

为解决这一空白，本文提出 HOI-Edit 基准与 HOI-Eval 评测指标，并进一步将 I2V 模型 引入图像 HOI 编辑。不同于静态图像模型只能给出最终结果，I2V 模型能够展开完整交互过程，使失败原因变得可诊断；基于这一点，本文构建了从评测到优化的完整方法链路（如图一所示），其核心特性如下：

1.HOI-Edit 层级化认知基准：面向复杂人 - 物交互编辑任务，构建覆盖基础交互编辑、上下文空间理解、因果与物理推理三类能力的评测基准，用于系统刻画模型的认知层级能力。

2.HOI-Eval 自动评测指标：针对传统全局指标难以判断交互是否真正发生的问题，引入成对区域 grounding 的评测流程，通过目标区域关联、身份一致性验证和交互问答，更可靠地衡量编辑结果。

3.I2V 过程可诊断与 SCPE 自纠错框架：借助 I2V 模型的完整交互过程，本文将错误进一步定位到轨迹偏移、步骤缺失或物理不合理等具体原因，并据此让 SCPE 把失败经验转化为可复用的提示优化策略，通过分析、反思与工具书更新形成闭环，迭代提升复杂 HOI 编辑的准确性与推理能力。



图 1 我们提出了：（A）HOI-Edit，首个覆盖 3 个认知层级的 HOI 编辑基准；（B）HOI-Eval，一种用于验证 HOI 正确性的全新评测指标；以及（C）SCPE，一种用于优化 I2V 模型 HOI 编辑能力的代理式框架。

层次化人物交互编辑评测：HOIEdit 数据集



图 2 HOI-Edit 层级化认知评测示例：基准从基础交互编辑、上下文空间理解、因果与物理推理三个层次系统评估 HOI 图像编辑能力。

本文提出了一套面向复杂人 - 物交互图像编辑的层级化评测体系。与传统图像编辑评测不同，HOIEdit 不再只关注最终图像是否 “看起来相似”，而是进一步考察模型是否真正理解了目标对象、交互动作、空间关系以及背后的因果与物理过程。

具体而言，HOIEdit 具有以下关键设计：

三层认知评测

如图 2 所示，HOIEdit 将人 - 物交互编辑拆解为由易到难的三类能力，系统评估模型在不同认知层级上的表现：



图 3 HOI-Edit 数据构建与 HOI-Eval 评测流程：从上下文感知指令设计、区域标注、多维问答构建，到基于成对区域的身份验证、交互判断与合理性评估。

细粒度数据构建

数据构建上，HOI-Edit 通过上下文感知的指令设计、系统化区域标注和多维问答构造（见图 3 上），形成覆盖 357 个 L1、202 个 L2、146 个 L3 样本且包含丰富交互类别的评测集合（见图 4）。该设计避免了 “只看最终图像是否像” 的粗粒度判断，而是把具体人 - 物对、动作状态、空间约束和过程合理性纳入统一评测。



图 4 HOI-Edit 数据分布与交互类别统计：左图展示 L1、L2、L3 三类样本在不同任务子类中的分布情况，右图展示评测集合中覆盖的主要交互动词类别。

HOI-Eval 评测逻辑

HOI-Eval 的核心思想是让评测模型 “带着目标区域思考”，其评测流程主要包括以下几步：

相比只看整体相似度的全局指标，这种方法更能避免指代歧义，也更贴近人类对 HOI 编辑成功与否的判断。

基于过程的自纠错：代理式闭环优化用于交互编辑



图 5 SCPE 框架流程图：Generator、Analyzer、Reflector 与 Curator 四类代理围绕工具书形成闭环，将失败视频中的过程线索转化为可复用的提示优化经验

如图 5 所示，SCPE（Self-Correcting Process Editing） 是一种面向复杂 HOI 编辑的代理式自纠错框架。其核心基础在于：I2V 模型生成的连续视频不仅包含最终编辑帧，还会记录人物从接近目标、执行动作到形成最终结果的过程。因此，失败不再只是最终图像中的黑盒结果，而是可以通过视频过程被观察、分析和修正。

换句话说，SCPE 并不是简单地对提示词做一次性增强，而是利用 I2V 生成过程中的动态交互线索来定位失败原因。例如，当模型本应拿起最右侧凿子却抓向中间凿子时，视频轨迹能够直接暴露 “模型优先选择最近物体” 的失败模式，为后续的提示优化提供依据。

如图 5 所示，SCPE（Self-Correcting Process Editing） 是一种面向复杂 HOI 图像编辑的基于智能体的自纠错框架。该方法结合图生视频的时序生成过程与多模态大模型的理解能力，实现对复杂交互编辑的自动分析与纠错。具体来说，其核心基础在于：I2V 模型生成的连续视频不仅包含最终编辑帧，还会记录人物从接近目标、执行动作到形成最终结果的过程。因此，在复杂交互编辑任务中，失败不再只是最终图像里的黑盒结果，而是可以通过视频生成过程中的动态交互线索被观察、分析和修正。 换句话说，SCPE 并不是简单地对提示词做一次性增强，而是利用 I2V 生成结果的过程反馈来定位失败原因，并通过工具书积累可复用的提示优化经验。例如，当模型本应拿起最右侧凿子却抓向中间凿子时，视频轨迹能够直接暴露 “模型优先选择最近物体” 的失败模式，为后续的 Prompt 优化、视觉生成模型纠错与复杂 HOI 编辑提供依据。

具体来说，SCPE 由四个专门代理组成：

下一轮生成时，Generator 会调用更新后的工具书，显式强调目标对象、动作轨迹、前置条件和物理后果，从而减少同类错误。

不同于一次性 Prompt Enhancer 的 “盲预测”，SCPE 利用真实生成视频作为反馈来源，能够根据模型实际失败位置进行纠错；同时工具书将个例经验沉淀为跨样本策略，使得框架不仅能优化当前样本，也能提升后续复杂交互编辑的稳定性。

性能与泛化双提升：SCPE 的实验验证

为验证 SCPE 的有效性，本文在 HOI-Edit 基准上对开源图像编辑模型、闭源商业模型以及 I2V 视频生成模型进行了系统评测。实验重点关注交互准确性（I）、人物身份保持（H）、物体身份保持（O）以及考虑合理性问题的交互成功率（I+Q&A），用于判断模型是否真正完成目标交互，而不仅是生成视觉上相似的结果。

实验部分的结论很直接：SCPE 不只是让结果 “看起来更像”，而是在交互发生、身份保持、空间约束和物理 / 因果合理性上都有明显提升。 论文围绕 HOI-Edit 的三层认知任务、人工一致性、消融实验、不同主干模型、独立评测器与 VLM 泛化性展开验证，下面依次给出关键表格与解读。



表 1 HOI-Edit 主量化结果：对比不同图像编辑模型与 I2V 模型在 L1 基础交互编辑、L2 上下文空间理解和 L3 因果与物理推理三类任务上的交互准确性（I）、人物身份保持（H）、物体身份保持（O）及考虑合理性问题的交互成功率（I+Q&A）。

如表 1 所示，在主量化结果上，SCPE 带来了稳定且显著的性能提升。相比原始 Wan 2.2 I2V，加入 SCPE 后，模型在三层认知任务上的交互表现均明显提高，其中 L1 交互分数提升约 22%，L2 约束成功指标提升约 26%，L3 约束成功指标提升约 22%，并在多个关键交互指标上超过闭源强基线（表 1）。这说明 SCPE 不仅能让动作 “发生”，还能让动作发生在正确对象、正确位置和合理过程中。



图 6 不同方法在 HOI-Edit 上的可视化对比：SCPE 能更准确地执行交互动作、理解目标对象和位置，并在复杂场景中保持过程与物理一致性。

如图 6 所示，从可视化结果来看，SCPE 在复杂交互场景中也表现出更强的稳定性和可控性（图 6）。在 L1 场景中，SCPE 能克服静态模型常见的编辑惯性和幻觉伪影；在 L2 场景中，SCPE 能更准确地理解目标对象和空间位置；在 L3 场景中，SCPE 更擅长保持过程一致性与物理合理性，生成符合常识的中间步骤和最终结果。



表 2 HOI-Eval 与人工判断的一致性分析：对比 DINOv2、CLIP 和 HOI-Eval 在人物身份、物体身份和交互判断上的 Pearson 相关性及统计显著性，验证 HOI-Eval 更贴近人类评测结果。

如表 2 所示，进一步实验从评测可靠性和模块设计两方面验证了本文方法的有效性：HOI-Eval 相比 DINOv2、CLIP 等全局相似度指标，与人工判断具有更高相关性，说明基于成对区域的问答式评测更贴近人类判断。



表 3 SCPE 消融实验结果：对比原始 Wan 2.2 I2V、官方 Prompt Enhancer、去除 工具书的版本和完整 SCPE，在交互准确性（I）与身份保持分数（IDS）上的表现，验证视频过程反馈与 Playbook 经验复用的作用。

表 3 展示了 SCPE 的核心组件贡献。官方 Prompt Enhancer（OPE）虽然将交互分数从 0.6804 小幅提升到 0.7028，但身份分数从 0.8494 降到 0.7385，说明盲目补充提示可能引入身份漂移。相比之下，去掉工具书后的视觉反馈版本已能把 I 提升到 0.7625、IDS 提升到 0.8786；完整 SCPE 进一步达到 0.8199 / 0.8954，证明工具书的跨样本经验沉淀是性能继续提升的关键。

进一步研究表明，SCPE 在不同设置下也展现出良好的泛化能力。如接入更快推理速度的 TurboDiffusion 后，SCPE 仍能在较短推理时间内明显提升总体交互表现；使用独立评测器或替换为 Qwen 工具书时，性能趋势也保持一致。这表明 SCPE 的优势并不依赖单一主干模型或单一 VLM，而是来自过程诊断与经验积累这一机制本身。 整体来看，实验结果表明：SCPE 通过 “视频过程诊断 — 失败经验总结 — 工具书 更新” 的闭环机制，显著提升了 I2V 模型在复杂 HOI 编辑中的交互准确性、空间理解能力和物理 / 因果合理性。

总结：面向世界模型的交互编辑新基准

本文围绕复杂人 - 物交互图像编辑任务，提出了覆盖评测、指标与优化框架的完整方案。HOI-Edit 构建了面向三层认知能力的层级化评测基准，涵盖基础交互编辑、上下文空间理解、因果与物理推理等关键维度；HOI-Eval 进一步引入基于成对区域的自动评测机制，使模型评估从全局相似度走向更细粒度的交互正确性判断。

实验结果表明，SCPE 能够显著提升 I2V 模型在复杂 HOI 编辑任务中的表现，不仅在三层认知任务上取得稳定增益，也在消融实验、独立评测器和跨 VLM 设置中展现出良好的鲁棒性与泛化能力。进一步分析表明，视频生成结果提供的过程反馈与工具书中积累的交互经验，是推动模型从 “结果修正” 走向 “过程自纠错” 的关键。

总体而言，本文不仅提出了一个新的 HOI 编辑基准和评测指标，也探索了一种利用视频过程反馈优化图像编辑模型的新范式，为未来构建具备更强空间理解、因果推理和物理一致性的视觉生成模型提供了重要基础。