这项由香港大学、复旦大学、浙江大学与快手科技联完成的研究，以预印本形式于2026年6月30日发布在arXiv平台，论文编号为arXiv:2606.31734。有兴趣入了解的读者可通过该编号查询完整论文。
你有没有过这样的经历：和个朋友聊天，聊了好会儿，突然发现他已经忘记了你们五分钟前说过的话，又重新讲起同件事？这种对话体验实在令人抓狂。现在，让AI来"拍电影"也面临着同样的困境——它能拍出精彩的开头，却在片子拍长了之后，忘记前面发生了什么，致场景东拼西凑、前后矛盾。
这支来自香港大学、复旦大学、浙江大学以及快手科技的研究团队，门针对这个"AI失忆症"问题，开发出了套名为**MemLearner**的解决案。他们的核心思路是：与其给AI安排套死板的"记忆清单规则"，不如直接教它学会自己决定该记住什么、该在什么时候调取记忆。这个区别，就像个只会查字典的人和个真正理解上下文的人之间的差距——前者按规则办事，后者凭理解应对。
---焦作泡沫板胶
、先说说"世界模型"到底是什么
要理解这项研究，先得弄清楚"世界模型"究竟是个什么东西。
以游戏为例。当你在玩款开放世界游戏时，游戏引擎会根据你的操作——往左走、往右看、跳过个台阶——实时生成你眼前的画面。世界模型干的是同件事，只不过它不是用代码写死的游戏规则，而是个经过大量真实训练的AI系统。你给它个摄像机的移动指令，它就生成对应的画面，就好像你真的在个真实世界里漫步样。
这类技术的潜力非常大：可以用于制作游戏场景、拍摄电影、训练机器人，甚至可以作为虚拟现实体验的底层引擎。研究人员把它称为"交互式生成模型"，意思是用户能通过动作指令与生成的世界实时互动。
然而，当生成的时间稍微长，问题就来了。AI的"视野"是有限的——它只能"看到"近段时间发生的事情，早之前的画面它已经看不见了。于是，当摄像机转了圈再转回来时，AI已经忘记了这个地长什么样，只好临时发挥，结果生成的画面和之前的对不上。这就是所谓的"场景致"问题，也是这篇论文要攻克的核心难关。
---
二、现有案为什么不够用
在这项研究之前，研究者们已经尝试过几种不同的思路来解决AI的"失忆"问题，但每种案都有它的软肋。
类法是"3D重建记忆"。这类法让AI先把已经看过的场景重建成个三维模型，下次需要回忆的时候，就从三维模型里渲染出对应视角的画面作为参考。这个思路听起来很扎实，但三维重建本身就容易出错，而且对于会动的物体——比如走路的人、摇尾巴的狗——三维重建几乎从下手。
二类法是"特征压缩记忆"。AI不直接存储画面，而是把历史内容压缩成些抽象的特征码，就像把本书浓缩成几条关键词。这样存储率，但信息损失也很大，细节容易丢失。
三类法是直观的"关键帧记忆"，也就是从历史里挑选出些代表的帧，直接作为当前生成的参考。这个向其实很有前途，因为它简单直接，不需要额外的三维重建或特征压缩。但问题在于：怎么挑帧？
目前主流的挑帧式是用固定规则。比如焦作泡沫板胶，计当前摄像机的视野范围（FOV），然后挑选那些和当前视野重叠多的历史帧；或者用点云估的法，找到在空间位置上接近的帧。这些规则在简单场景里还管用，但遇到复杂情况就露出了破绽。
以墙壁遮挡为例。假设摄像机在栋建筑的外面，转到了另侧。按照视野重叠规则，AI会认为某几帧"很相关"——因为它们的拍摄向相似。但实际上，这两个视角之间隔着堵墙，场景内容不同，参考这些帧只会帮倒忙。再比如，只在场景里游荡的狗，它的位置会不断变化，基于静态空间位置的规则根本法正确追踪它。
根本的问题在于：这些规则是人为写死的，法随着场景的复杂程度自动调整。
---
三、MemLearner的核心思路：让AI自己学会"该看哪里"
MemLearner提出的解决案，从根本上改变了这个问题的处理式。与其告诉AI"按照规则X去找相关帧"，不如让AI通过大量训练，自己学会判断哪些历史信息对当前的生成有帮助。
为了实现这点，研究团队引入了种叫做"查询令"（Query Token）的机制。要理解这个概念，可以用图书馆借阅来比。
假设你是名正在写小说的作（对应AI里负责生成的部分），图书馆里存放着你之前写过的所有素材（对应历史帧）。你需要位助理（对应查询令）来帮你从图书馆里调取相关资料。
这位助理的工作式很特别：他先会看眼你正在写的当前章节草稿（预测令），弄清楚你现在需要什么风格的信息；然后再拿着这个"需求"去图书馆翻找（上下文令），把真正有用的资料整理好递给你；后，你参考这些资料完成写作。
在MemLearner的框架里，整个系统处理的信息被分成三种角：C令（Context Token，历史上下文），代表已有的历史帧；Q令（Query Token，查询令），是连接历史和当前生成的中间桥梁；P令（Predicted Token，预测令），代表当前正在生成的帧。Q令先关注P令，理解"要生成什么"，再关注C令，提取"需要哪些历史信息"，后P令参考Q令完成生成。
这个机制通过端到端训练来学习——也就是说，AI不需要任何额外的人工标注来说明"这个情况下应该查询哪些帧"，它只是通过生成时的误差信号，反过来不断调整查询策略，终自然而然地学会了适应记忆提取。
---
四、个被放弃的设计，以及背后的洞察
研究团队在设计过程中，也走过段弯路，而这段弯路本身很能说明问题。
直觉的想法是：既然需要个"查询助理"，那就单训练个门的查询模块，让它负责从历史帧里提取信息，再把提取结果传给生成模型。两个模块各司其职，听起来很理。
然而实验结果让团队大吃惊：这个单训练的查询模块没能学会查询历史信息。通过注意力可视化分析发现，这个模块的查询令和历史上下文令之间的相似度接近于——换句话说，这个模块根本就没有在读历史帧，只是在输出堆毫意义的信号。
糟糕的是，由于这个立模块的输出没有意义，生成模型也渐渐学会了"视"这个模块的输出焦作泡沫板胶，终直接退化成个普通的文本生成模型，不具备记忆能力。
这个失败揭示了个关键洞察：从开始训练个新模块，想让它学会有意义的视觉查询，是其困难的，因为你没有办法为"正确的查询"提供明确的监督信号——没有人能标注"在这帧，你应该去查历史147帧的左上角"这样的信息。
正确的做法是：直接利用生成模型本身来做查询。生成模型已经经过大规模预训练，对视觉内容有着丰富的理解能力。把查询令和上下文令、预测令起输入到同个生成模型里，让模型的自注意力机制自然地建立起它们之间的联系，果就会好得多——因为模型已经具备了理解视觉内容的能力，只需要学习如何运用这种能力来做记忆查询。
---
五、两个让系统跑得快的巧思
理论上，把所有历史帧和当前帧都塞进模型里让它自己分析，果当然好。但实际操作中，这会带来巨大的计量——历史帧越来越多，计量会线增长，终变得不可负担。
研究团队提出了两个简洁的率优化策略。
个策略叫做"浅层查询，层生成"。整个扩散变换器模型有28层，研究团队把它分成两段：前5层（浅层）作为"查询层"，负责让Q令从C令和P令中提取信息；后23层（层）作为"生成层"，只处理Q令和P令，C令不再参与。
这背后的逻辑是：提取记忆像"编码"，不需要太多计量；真正的创作生成才是大头。类比到人类写作：快速浏览下参考资料（浅层）只需要几分钟，真正坐下来写作（层）才是主要工作。实验证明，泡沫板橡塑板专用胶5层已经足够完成有的记忆提取，继续增加查询层数对果的提升非常有限，却会明显拖慢速度。
二个策略叫做"只保留有用的注意力计"。在注意力机制里，每个令既可以作为"提问者"（查询），也可以作为"被问者"（键值对）。研究团队仔细分析了哪些注意力交互是真正要的，删掉了所有冗余计。终保留下来的只有三种核心交互：Q令向P令提问（搞清楚当前要生成什么）、Q令向C令提问（从历史帧里提取信息）、P令向P令和Q令提问（生成时参考同伴和查询结果）。特别值得注意的是，C令不作为提问者——历史帧的内容只需要被查询，而不需要主动去问任何人。
---
六、门为复杂场景造的训练数据集
个聪明的法，还需要适的训练数据。研究团队在这面也下了很大的功夫，因为他们发现，现有的长数据集没有个能满足训练需求。
理想的训练数据需要同时具备四个特点：精确的逐帧摄像机位姿标注（知道每帧摄像机在哪里、朝哪里看）、场景遮挡关系（物体互相遮挡的情况）、动态物体（会动的人或动物）以及大量的"重访场景"（摄像机离开某个地又回来的情况）。现有数据集各有残缺：用YouTube组成的数据集内容丰富，但摄像机标注不精确；基于游戏引擎渲染的数据集标注精确，但没有遮挡和动态物体。
于是，研究团队自己在虚幻引擎里搭建了套数据采集流程。他们精心挑选了13个不同风格的三维场景，涵盖街道、购物中心、乡村、室内室外各种环境，并在场景中加入了人类角、狗、骆驼、马等动态物体。为了地生成摄像机运动轨迹，他们写了个自动化脚本，让摄像机在场景中自主漫游、自动避障，同时记录下每帧的位姿信息。终采集了100段长，分布在13个场景中，每段平均过18000帧，总计16.7小时的内容。
仅靠渲染还不够，因为渲染画面和真实世界的视觉风格存在差距。为此，研究团队还加入了两类真实世界：类有较为准确的摄像机估标注，另类没有摄像机标注。对于这三类不同来源的数据，他们采用了个特的训练策略：给每类数据分别配备个属的摄像机编码器，没有标注的真实则直接用参数（相当于告诉模型"这段没有摄像机信息"）。通过这种隔离式，不同质量的标注数据互不干扰，模型可以同时从精确的渲染数据、真实的风格数据和丰富的多样数据中各取所长。
---
七、实验结果：数字和故事都说明了问题
研究团队在多个不同的数据集上进行了评估，包括自己采集的复杂场景数据集、另个团队发布的遮挡动态物体数据集，以及真实世界的SpatialVID数据集。
评估式分两种。种叫"地面真值对比"：给AI看段历史帧，让它生成接下来的画面，然后对比生成结果和真实有多像。二种叫"重访对比"：让摄像机在场景里转出去再转回来，对比"出去时拍的某个地"和"回来时再次拍到同个地"的画面是否致。二种测试式加贴近实际应用场景，也能考验模型的真实记忆能力。
拿来对比的法包括几类：没有记忆设计的长生成模型DFoT、通过压缩历史帧保留有限记忆的FramePack、基于点云规则检索的VMem，以及基于视野重叠规则检索的Context-as-Memory（CaM），还有研究团队自己尝试过并放弃的"立查询模块"设计。
在复杂场景数据集上，MemLearner在所有指标上均取得了好的成绩。以像素相似度指标PSNR（数值越越好）为例，CaM法得到了19.85分，而MemLearner达到了21.23分；在衡量感知相似度的LPIPS指标上（数值越低越好），CaM为0.3475，MemLearner为0.2904，差距相当明显。在生成质量指标FVD上，MemLearner同样先。
那个被放弃的"立查询模块"案，PSNR只有9.16分，比没有记忆的DFoT（16.98分）还低——这直接印证了研究团队关于"立模块法有学习"的判断。
有意思的是，当在没有遮挡和动态物体的简单场景数据集上测试时，CaM和MemLearner的成绩非常接近（分别是20.22和20.35）。这说明在简单场景下，规则法和学习法表现相当；但旦场景复杂起来，学习法的优势就会显著拉开。
研究团队还用了项样本迁移测试：在没有接触过的Epic-Kitchens厨房数据集上直接测试（这个数据集风格和训练数据差异很大），MemLearner依然比同类法表现好，说明学到的记忆机制具有定的通用。
---
八、细节决定成败：几个关键设计选择的验证
研究团队还通过系列消融实验，逐验证了每个设计选择的要。
关于查询令的初始化式，研究团队测试了两种案：用随机噪声初始化和用带噪声的预测令本初始化。结果两者的表现几乎没有差别，说明初始值是什么其实并不重要——真正重要的是Q令通过注意力机制从P令那里学到当前的需求，而不是靠初始值传递信息。
关于摄像机位姿信息是否须提供给所有令，结果颇为出人意料。研究团队发现，就不给历史帧（C令）和查询令（Q令）注入摄像机信息，只给当前生成帧（P令）注入，模型的记忆能力并没有明显下降。这意味着，生成模型具备从纯视觉信息中隐式理解空间几何关系的潜力，不需要手动提供三维坐标信息。
关于注意力计的要，删掉Q令向P令提问这步（也就是让Q令不再先理解"要生成什么"），会致能大幅下滑，PSNR从21.23跌到17.27。这证实了"先理解需求再查询信息"这个两步走逻辑的关键。
此外，研究团队还测试了把分别训练查询模块的案改为"先预训练再联微调"——用L1损失来预训练查询模块，让Q令的输出靠近P令，然后再联微调。结果这个案依然远逊于MemLearner（PSNR仅16.56），再次印证了端到端学习的优越：不需要人为设计中间监督目标，让误差信号自然地反向传播到查询机制里，果反而好。
---
九、这套案能用在别的模型上吗
个自然的疑问是：MemLearner是不是只能搭配研究团队内部使用的属模型？
为了验证通用，研究团队还把同样的法应用到了Wan2.1这个开源生成模型上（参数量为13亿）。结果显示，MemLearner在Wan2.1上同样比基线法表现好，说明这套机制并不依赖特定的模型架构，只要底层模型使用了三维注意力机制，就可以直接接入MemLearner的查询框架。
---
说到底，MemLearner做的事情，就是把AI生成里那个"按规则找参考帧"的死板逻辑，换成了个"通过学习来理解上下文需求"的灵活机制。这个转变听起来简单，但背后隐藏着个刻的工程洞察：与其费力设计各种规则来告诉AI"什么情况下该记什么"，不如给AI提供足够丰富的训练场景，让它自己摸索出适的记忆策略。
这项研究对普通人的生活并不会立竿见影，但它所解决的问题，其实是未来大批应用的基础障碍。当我们期待AI能为我们生成段沉浸式的虚拟旅行、能在游戏里创造出真正有记忆的虚拟世界、能帮助机器人在复杂环境里保持对空间的连贯认知——所有这些，都需要先解决AI的"失忆"问题。MemLearner给出了个目前来看相当有说服力的向。
当然，研究团队自己也坦承，问题远没有解决。当场景里有过五个角同时互动时，现有的10亿参数模型就开始力不从心，生成画面会出现角外貌不致或物体消失的情况。长远来看，记忆不应该随着时长线膨胀，未来需要研究的向包括如何压缩、新、编辑，甚至有选择地遗忘历史信息——就像人的记忆样，不是存档所有细节，而是保留真正重要的内容。
对这项研究感兴趣的朋友，可以通过arXiv编号2606.31734找到完整论文，以及该团队的演示项目页面，里面有实际生成的案例可供直观感受。
---
Q&A
Q1：MemLearner解决的"场景致"问题具体是什么意思？
A：场景致是指在生成长时，摄像机离开某个地又回来后，AI生成的画面要和之前拍过的保持致——同个房间应该有同样的具，同个角应该有同样的外貌。由于AI的"视野"有限，它很容易忘记早期的画面，致重访时生成出不同的场景，这就是致问题。
Q2：MemLearner的查询令和普通的历史帧检索有什么区别？
A：传统历史帧检索靠人工写死的规则（比如摄像机视野重叠度），而MemLearner的查询令通过训练学会自适应地判断"当前生成需要哪些历史信息"。它先理解当前要生成的内容，再去历史帧里提取相关信息，整个过程是通过生成误差反向训练出来的，不需要任何手动标注的查询标准。
Q3：MemLearner在有遮挡的场景里为什么比基于视野规则的法好？
A：基于视野规则的法只看摄像机朝向是否相似，法判断两个视角之间是否有墙壁遮挡。而MemLearner通过训练学到了视觉内容之间的关联，能够隐式地理解遮挡关系，只调取真正视觉相关的历史帧，而不是仅仅向相近的帧。相关词条:玻璃棉毡 塑料挤出机 预应力钢绞线 铁皮保温 万能胶生产厂家
奥力斯 PVC管道管件粘结胶价格 联系人：王经理 手机：18231788377（微信同号） 地址：河北省任丘市北辛庄乡南代河工业区/p>
1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。