产品中心

这项由清华大学圳计划生院与快手科技Kling团队作的计划发表于2026年2月的arXiv预印本平台，论文编号为arXiv:2602.13823v1。有趣味入了解的读者不错通过该编号查询齐全论文。

当你在网上搜索张图顷刻间，搜索引擎是如何知谈哪张图片符你的需求呢？当你想找段特定的片断时，系统又是若何从海量中精准找到你要的那段呢？这些看似简陋的操作背后，其实触及项其复杂的时刻——多模态镶嵌。简陋来说，即是让磋磨机像东谈主样理会图片、和翰墨之间的相干。

耐久以来，这个域靠近着个要津挑战：如何让AI在理会多媒体内容时既能"看懂"又能"想明白"。传统的法就像是给学生堆圭表谜底让他们死记硬背，天然能应付考试，但遭逢新情况就束手策。而新的生成式法天然让AI学会了"想考"，但这种想考经常偏离主题，就像学生写稿文时跑题样。

计划团队发现了个妙的处置案：让个门的"解释"来指AI的想考经由。这即是他们建议的"镶嵌器引强化学习"框架，简称EG-RL。在这个系统中，有两个要津角：个是肃肃"想考"的理器，另个是肃肃"评判"的镶嵌器。镶嵌器就像个教养丰富的淳厚，不停给理器的想考经由分，告诉它哪些想路是对的，哪些是跑偏的。

趣味的是，计划团队还创造了种全新的想考款式，叫作念"可记忆链式想维"，简称T-CoT。这就像给AI配备了套齐全的"窥探器具包"。当AI看到张图顷刻间，它不仅会分析图片内容，还会像窥探样记号要津印迹的位置。比如，若是任务是找到图片中的"红汽车"，AI会在图片上画出准确的框框记号汽车位置，同期索要"红"、"汽车"这么的要津词。对于，它会记号出贫苦的要津帧；对于长文本，它会索要中枢要津词。

这种法的精巧之处在于，它让AI的想考变得班班可考。就像学生作念数学题不仅要写出谜底，还要展示齐全的解题本领样。这么来，当AI给出失实效能时，咱们不错明晰地看到它是在哪步出了问题，从而进行针对的改进。

计划团队在两个贫苦的基准测试上考证了这套法的果。个叫MMEB-V2，包含78个不同的多媒体理罢职务，涵盖图片分类、理会、文档检索等各个面。二个叫UVRB，门测试检索才调。效能裸露，即使在磋磨资源相对有限的情况下，他们的法仍然越了现在的模子。

、让AI学会"有的放矢"的想考

门径略这项计划的中枢革命，咱们不错把AI学习比作培养名秀的文籍管制员。传统的西宾法就像让管制员背诵文籍目次，天然能快速找到册本，但遭逢读者的特殊需求时经常力不从心。

现存的生成式镶嵌法天然让AI学会了"理"，但问题是这种理经常不着角落。就像个管制员在帮读者找对于"烹调"的书时，却运行谈天休说地答复食品的历史文化，天然内容丰富，但对找书这件事自己匡助不大。

计划团队坚强到，要津在于让AI的理经由耐久围绕具体的检索方针。他们联想的EG-RL框架就像为AI配备了位严格的师。这位师会实时监控AI的想考经由，旦发现AI的想路偏离了方针，就会立即改变。

具体来说，系统分为两个部分：理器肃肃产生想考内容，镶嵌器则充任评判者。每当理器生成段想考内容时，镶嵌器会立即评估这段内容对终检索任务的匡助进程。若是想考内容有助于找到正确谜底，镶嵌器就会给出积反馈；若是内容偏题或关，就会给出负面评价。

这种联想的平正是不言而谕的。理器在不停的反馈中学会了什么样的想考才是有价值的，安宁形成了"方针向"的理民俗。就像个学生在淳厚的精心指下，安宁学会了如何收拢，避在考试时因为跑题而失分。

贫苦的是，这种法处置了传统生成式法的个要津问题：梯度蹧蹋。在传统法中，系统需要同期化两个方针——生成理的理内容和产生准确的镶嵌向量。这就像让个东谈主同期作念两件不同的事情，经常衣衫破烂。而EG-RL框架通过将两个任务分离，让每个组件皆能注于我方的职责，从而避了这种蹧蹋。

二、给AI装上"多媒体透视镜"云浮钢绞线生产厂家

传统的AI理经常局限于翰墨层面，就像个只可通过翰墨形色来了解宇宙的东谈主。而计划团队创造的T-CoT法，则为AI装上了"多媒体透视镜"，让它简略同期"看见"图像中的要津区域、"捕捉"中的贫苦时辰，以及"索要"文本中的中枢想法。

迎面对张图顷刻间，T-CoT不仅会分析图片内容，还会像个顾惜的不雅察者样，在图片上记号出贫苦的区域。比如，若是任务是判断"图片中是否有红的汽车"，系统会在图片中准确框出汽车的位置，坐标精准到像素别。这种精信服位才调就像给AI配备了台精度的显微镜，简略聚焦到要津的细节。

对于内容，T-CoT展现出了近似电影编订师的敏锐直观。在段包含多个场景的中，它简略识别出确切承载要津信息的那几帧画面。这不是简陋的立时采样，而是基于内容理会的智能采取。就像个教养丰富的编订在编订预报顷刻间，总能挑选出能代表整部电影精髓的片断。

在处理文本信息时，T-CoT阐发出了额外的要津词索要才调。它不会被冗长的形色所引诱，而是简略飞速识别出确切影响检索效能的中枢词汇。这种才调近似于个资的摘录，论面对何等复杂的文档，皆能准确收拢重心。

通盘T-CoT的想考经由被精巧地组织成三个阶段，计划团队将其定名为"想考-反想-修起"款式。阶段"想考"肃肃索要多媒体印迹，二阶段"反想"对这些印迹进行筛选和整理，三阶段"修起"给出终论断。这种结构化的想考式确保了理经由的逻辑和齐全。

令东谈主惊喜的是，T-CoT还具备了"根据记忆"的才调。当系统给出个判断时，它简略明晰地展示扶植这个判断的具体根据。这就像法庭上的讼师不仅要建议不雅点，还要展示支抓不雅点确凿切根据。这种透明不仅增强了系统确凿切度，也为后续的改进提供了廓清的向。

三、造AI的"个东谈主解释"系统

要让AI确切学会质地的理，光有好的想考框架还不够，还需要套科学的评价和指机制。计划团队联想的强化学习系统就像为AI配备了位24小时在线的"个东谈主解释"，这位解释不仅会评判AI的阐发，还会给出具体的改进建议。

这个解释系统的评价圭表相配，包含三个贫苦维度。先是"边幅表率"，就像作文考试中的书写条款样，AI的想考内容须按照法例的边幅来组织。这看似简陋，实质上确保了输出效能的致和可读。

二个维度是"经由质地"，评估AI在理经由中是否收拢了要津点。这就像评判学生解题本领是否理，不仅要看终谜底，要心思惟考旅途是否廓清、逻辑是否严实。系统会查验AI索要的要津词是否准确，记号的图像区域是否关联，采取的帧是否代表强。

三个维度是"效能准确"，径直测量AI的理是否有助于找到正确谜底。这个评价为径直，就像考试中的圭表谜底样，要么对，要么错，容不得半点疲塌。

止境值得提的是，这套评价系统袭取了"对称评估"的政策。当评估个查询和方针的匹配度时，系统不仅会从查询的角度来判断方针是否适，还会从方针的角度来判断查询是否关联。这种双向考证机制大大提了评估的可靠，就像在作念贫苦决定时，咱们会从多个角度来计划问题样。

精巧的是，系统还引入了个立的"评判员"——个门用于比较不同理质地的判别模子。当AI生成多种不同的理内容时，这个评判员会像体操比赛的评委样，对每种理进行评分，选出秀的阿谁。这种竞争机制引发AI不停莳植我方的理水平。

在具体的西宾经由中，系统袭取了GRPO算法，这是种的政策化法。简陋来说，即是让AI在每次尝试后皆能获取实时的反馈，并据此调理我方的行径政策。这种学习式近似于清楚员在解释指下进行反复老练，每次老练后皆会得到针对的建议，从而快速莳植技巧水平。

四、从实验室到施行附近的得手跨越云浮钢绞线生产厂家

为了考证这套法的实质果，计划团队进行了大规模的对比实验，就像医学界测试新药果时要进行严格的临床锻练样。他们采取了两个业界公认的测试基准：MMEB-V2和UVRB，这极端于多媒体理会域的"考"和"业考试"。

MMEB-V2基准包含了78个不同的任务，涵盖了图像分类、理会、文档检索等各个面，预应力钢绞线就像场综强的万能比赛。在这场"比赛"中，计划团队的Embed-RL模子阐发出，其中4B参数的版块获取了68.1的总分，比之前好的法莳植了3.6分。天然听起来莳植幅度不大，但在这个竞争强烈的域，这还是是极端显赫的超越了。

止境令东谈主印象刻的是，Embed-RL在图像定位任务上的阐发险些，准确率达到了91.4。这意味着当系统需要在图像中找到特定物体时，十次中有九次皆能准确掷中方针。这种精度水平还是接近东谈主类的阐发。

在理罢职务上，Embed-RL一样阐发出，举座得分达到了53.0，比传统法有了昭着莳植。贫苦的是，在处理"出域"任务（即西宾时莫得见过的新类型任务）时，系统展现出了弘大的泛化才调，得分达67.1，远其他法。这说明系统不仅能处理熟悉的任务，还能叮咛全新的挑战。

UVRB基准门测试检索才调，包含16个不同的数据集，灭绝了从粗粒度到细粒度、从短到长的各式场景。在这个加业的测试中，Embed-RL-4B取得了60.7的平中分，在通盘参与比较的法中名次。

值得驻扎的是，计划团队的法在磋磨资源使用上阐发出了精良的率。比拟于些需要巨量磋磨资源的法，Embed-RL在保抓能的同期，大大镌汰了西宾和理的磋磨资本。这使得这项时刻有可能在实质附近中得到广。

实验效能还揭示了个趣味的风物：经过强化学习化后，AI的理质地发生了质的变化。在化前，AI的理经常冗长而偏离主题；化后，理变得粗放而聚焦，直击问题中枢。这种变化就像个学生在名师指下，从写稿时的冗长繁琐升沉为提纲契领、层次廓清。

五、细节决定成败的精妙联想

入分析这项计划的时刻细节，咱们会发现好多精巧的联想采取，这些看似微弱的改进积聚起来产生了显赫的果莳植。

在数据构建面，计划团队袭取了种"分层过滤"的政策。他们先从多个质地数据源收罗了过220万个样本，然后使用门联想的关联判断辅导对这些样本进行筛选，终保留了约183万个质地样本。这个经由就像珠宝匠在挑选原石时，会仔细查验每块石料的品性，只保留有价值的那些。

在T-CoT的边幅联想上，计划团队经过反复锻练，终信服了三段式结构：想考、反想、修起。每个阶段皆有明确的定位和输出条款。想考阶段肃肃索要多模态印迹，反想阶段肃肃整理和考证这些印迹，修起阶段给出终论断。这种结构既保证了理的齐全，又避了信息的重迭和冗余。

在强化学习的励函数联想上，计划团队精巧地均衡了三个不同维度的评价权重。边幅励的权重设为0.05，经由励设为0.8，效能励设为0.2。这种权重分拨反应了计划团队的联想形而上学：经由比效能贫苦，但边幅表率也不可冷落。这就像评判场演讲时，内容质地占主地位，但抒发式和体式表率也会影响终评分。

在模子西宾的时刻细节上，计划团队袭取了多项化政策。比如，他们使用了"子批次"西宾政策，确保每个西宾批次中的样本皆来自同个数据集，这么不错避不同类型任务之间的搅扰。这种作念法近似于学校安排课程时，会将关联学科的课程鸠合安排，避学生在不同学科间时时切换变成的学习率着落。

对于多模态输入的处理，系统袭取了淡雅的预处理政策。对于图像，系统会根据内容自得当地调理永别率，确保要津信息不会因为缩放而丢失。对于，系统使用智能采样算法采取具代表的帧，避冗余信息的搅扰。这些预处理本领天然加多了些磋磨支出，但显赫莳植了后续处理的质地。

止境值得提的是，计划团队还联想了套齐全的消融实验来考证每个组件的贫苦。效能裸露，移除强化学习阶段会致1.5分的能着落，移除多模态印迹索要会致1.0分的着落，而不使用T-CoT理则会致6.6分的大幅着落。这些数据明晰地标明了每个组件的价值，也证明了举座联想的理。

六、开启多媒体AI的新篇章

这项计划的意旨远远出了时刻自己的改进，它为多媒体东谈主工智能的发展指明了个全新的向。传统的镶嵌法就像让AI作念采取题，只需要在给定选项中挑选谜底；而生成式镶嵌法例像让AI写稿文，需要展现齐全的想考经由。这项计划得手地将两种法的势结起来，让AI既能入想考，又能紧扣主题。

从时刻发展的角度来看，这项责任创举了"理驱动镶嵌"的新范式。以往的计划要么注于莳植理才调，要么奋发于改进镶嵌质地，很少有东谈主尝试将两者有机结。这项计划阐述了这种结不仅可行，而且简略完竣"加大于二"的果。

对于实质附近而言，这项时刻的潜在影响是远的。在搜索引擎域，它简略让系统准确地理会用户的检索意图，提供加的效能。在内容荐系统中，它简略好地理会用户的趣味偏好，荐加个化的内容。在教悔时刻中，它简略匡助系统好地理会学习材料，提供加有针对的学习建议。

从磋磨率的角度来看，这项计划也具有贫苦价值。通过引入可记忆的理机制，系统的有计算打算经由变得加透明，这不仅有助于发现和修正失实，也减少了不要的磋磨支出。这种率莳植对于大规模部署AI系统来说至关贫苦。

计划团队还在论文中指出了些面前法的局限和改日的改进向。比如，现在的励函数权重是教养设定的，改日不错探索自得当权重调理机制。西宾数据中扬弃了些分类任务，致在图像分类上的阐发不够盼愿，这为改日的改进提供了明确的向。

贫苦的是，这项计划为AI系统的"可解释"问题提供了个新的处置想路。通过T-CoT机制，AI的有计算打算经由变得可记忆、可考证，这对于需要可靠的附近场景（如医疗会诊、自动驾驶等）具有贫苦意旨。

预测改日，这种"理-镶嵌"结的法可能会成为多模态AI发展的主流趋势。跟着大模子时刻的不停发展，咱们有事理信托，改日的AI系统将不仅简略理会复杂的多媒体内容，还简略明晰地解释我方的理会经由，确切成为东谈主类的智能助手。

说到底，这项计划大的孝顺在于阐述了个简陋而刻的道理：让AI学会想考很贫苦，但让AI学会"有方针地想考"贫苦。正如东谈主类学习的经由样，只是领有想考才调是不够的，要津在于简略将想考指向正确的向，况且简略从想及第得到灵验的论断。这项计划为完竣这方针提供了个雅而有的处置案，为多媒体东谈主工智能的发伸开启了新的可能。

Q&A

Q1：什么是镶嵌器引强化学习框架？

A：镶嵌器引强化学习是种让AI灵巧地理会多媒体内容的西宾法。它包含两个角：个肃肃想考的"理器"和个肃肃评判的"镶嵌器"。镶嵌器像淳厚样，不停给理器的想考经由分，告诉它哪些想法对处置问题有匡助，哪些是跑题的。通过这种指，AI安宁学会了如何进行有针对的想考，而不是漫目标地舆。

Q2：可记忆链式想维与庸碌的AI理有什么区别？

A：可记忆链式想维就像给AI装上了"多媒体透视镜"，让它不仅能分析内容，还能记号要津根据。当看图顷刻间，它会框出贫苦区域；处理时，会选出要津帧；分析文本时，会索要中枢词汇。通盘经由分为"想考-反想-修起"三步，每步皆有具体的根据扶植，就像窥探破案时要展示齐全的理链条和根据样。

Q3：这项时刻在实质附近中阐发如何？

A：在测试中，这项时刻阐发异。在包含78个不同任务的MMEB-V2测试中，取得了68.1的总分，越了之前好的法。止境是在图像定位任务上，准确率达到91.4云浮钢绞线生产厂家，险些接近。在检索业测试UVRB中，平均得分60.7，名次。贫苦的是，这种法在磋磨资源使用上很，使得时刻容易在实质中广附近。