一把“视觉万能钥匙”：Ming-UniVision以统一连续Token打通图像理解与生成

【摘要】Ming-UniVision通过创新的统一连续标记器MingTok，构建共享潜在空间，成功解决了图像理解与生成任务的表示割裂问题，实现了高效、连贯的多轮交互式编辑。

引言

在多模态AI领域，图像的理解与生成始终是两条并行但疏离的技术路线。视觉理解任务，如图像分类或视觉问答，要求模型提取高层、抽象的语义特征。这好比一位艺术评论家，需要洞察画作背后的意境与主旨。而图像生成任务，则要求模型精准控制像素级的微观细节，包括纹理、光影与色彩。这更像一位精密画家，每一笔都需 meticulously。

传统架构通常采用“双轨制”来应对这种差异。以CLIP为代表的模型擅长构建强大的图文语义对齐空间，成为理解任务的基石。而以VAE（变分自编码器）为核心的框架则专注于高效的像素压缩与重建，主导了生成领域。这种分离设计虽然在各自领域取得了成功，但当试图构建一个既能理解又能生成的统一系统时，其内在的割裂性便暴露无遗。模型不得不在两个异构的表示空间之间频繁“翻译”，这个过程不仅会引入计算开销与信息损耗，更严重掣肘了需要上下文感知的多轮交互式编辑，使其变得低效且质量难以保证。

蚂蚁集团Inclusion AI团队提出的Ming-UniVision框架，正是为了攻克这一行业瓶颈。其核心贡献在于引入了一个统一的连续视觉标记器（Tokenizer）——MingTok。它不再区分语义与像素，而是将任意图像编码到一个共享的、连续的潜在空间中。这把“视觉万能钥匙”为构建一个真正统一、高效且交互友好的视觉语言模型铺平了道路。

❖ 一、视觉表示的二元困境与统一范式破局

要理解Ming-UniVision的价值，必须先深入剖析当前视觉语言模型面临的根本性挑战，即视觉表示的二元性困境。

1.1 理解与生成的根本矛盾

视觉信息的处理存在一个天然的矛盾点，源于不同任务对信息粒度的需求差异。

• 理解任务的本质是“收敛”。模型需要从数百万个像素点中抽丝剥茧，过滤掉无关的细节噪声，最终收敛到几个关键的、高维度的语义概念上。例如，识别一张图片中的“猫”，模型需要忽略背景、光线变化、猫的具体姿态，而聚焦于形成“猫”这一概念的核心视觉特征。因此，理解模型偏爱那些对细节不敏感、但富含语义信息的特征表示。

• 生成任务的本质是“发散”。模型需要从一个简洁的文本提示或抽象概念出发，发散出构成一幅逼真图像所需的海量细节。这要求模型能够精确控制每一个像素块的颜色、纹-理和空间关系。因此，生成模型需要一个紧凑、完备且易于解码的低维表示，以便高效地重建像素空间。

这两种需求在表示空间上形成了直接冲突。一个为理解优化的特征空间，可能已经丢失了生成所需的精细纹理；一个为生成设计的潜在空间，可能又缺乏足够的高层语义来响应复杂的指令。

1.2 传统双轨方案的瓶颈

为了绕开这一矛盾，业界长期采用“分而治之”的策略，即为理解和生成任务配备各自专用的编码器。

这种双轨制架构在执行多轮编辑任务时，其弊端尤为突出。设想一个场景，用户先生成一张图片，然后希望在此基础上进行修改。系统的执行流如下：

1. 生成：文本指令通过生成模块（VAE Encoder -> Decoder）生成初始图像（像素空间）。

2. 理解：为了让模型理解后续的修改指令，需要将生成的图像输入理解模块（CLIP Encoder），编码成语义特征。

3. 再生成：结合新的修改指令和从图像中提取的语义特征，再次调用生成模块进行编辑。

这个循环每进行一轮，都涉及一次昂贵的像素空间往返（Pixel Round-trip）和一次表示空间的转换。每一次转换都可能引入伪影（Artifacts）和累积性质量退化，同时显著增加交互延迟。

1.3 统一连续Token的破局思路

Ming-UniVision的破局点在于，它没有试图去“对齐”两个本就异构的空间，而是从源头上构建了一个统一的、共享的表示空间。这个空间由连续的向量（Token）构成，其设计目标是同时满足理解和生成的需求。

这个思路的核心是，如果存在一种中间表示，它既足够紧凑以支持高效生成，又蕴含了足够丰富的语义信息以支持精确理解，那么“双轨制”的根本问题便迎刃而解。所有操作，无论是感知现有图像，还是合成全新图像，亦或是对图像进行迭代修改，都可以在这个统一的潜在空间内闭环完成，从而彻底避免了代价高昂的跨空间转换。MingTok正是实现这一构想的关键技术载体。

❖ 二、核心技术拆解：统一视觉标记器MingTok

MingTok是Ming-UniVision的基石，它是一个革命性的视觉标记器，其设计的精妙之处在于通过一个三阶段的顺序架构，实现了对视觉信息从压缩、语义化到重建的端到端统一处理。

2.1 架构总览：三阶段顺序设计

MingTok的整个工作流程可以被清晰地划分为三个串联的阶段。这种设计确保了信息流的单向性和高效性，为上层的大语言模型提供了一个稳定且一致的视觉接口。

我们可以用一个流程图来表示其工作机制：

这个流程清晰地展示了图像信息如何在MingTok内部被逐步处理和转化的。

2.2 第一阶段：低层编码器 (Low-Level Encoder)

此阶段的目标是高效压缩。它接收一张标准尺寸的图像（例如512x512像素），并将其编码成一个极为紧凑的连续潜在表示序列。

• 高压缩比：MingTok实现了高达32倍的压缩比。这意味着一张512x512的图像被压缩成了仅256个连续token。每个token都是一个高维向量，共同构成了对原始图像的紧凑描述。

• 结构保持：尽管压缩比极高，低层编码器通过其深度卷积或Transformer结构，被训练用来保留图像最关键的结构和纹理信息。它丢弃的是冗余信息，而非核心视觉元素。

• 训练监督：为了确保这个紧凑的潜在空间具备良好的结构和语义先验，训练过程中使用了强大的预训练视觉模型（如DINOv2）的特征作为监督信号，通过掩码特征预测的方式进行正则化。这使得潜在空间本身就“理解”了视觉世界的基本规律。

这一阶段的输出，即256个连续token，是后续所有操作的基础。它像是一份高度凝练的图像“摘要”。

2.3 第二阶段：语义解码器 (Semantic Decoder)

此阶段的目标是语义扩展。它接收来自低层编码器的紧凑token序列，并将其逐步扩展成一个更高维度、更富含语义的特征序列。

• 自回归扩展：语义解码器采用自回归（Autoregressive）的方式工作。这意味着它逐个token地处理输入序列，并生成对应的语义特征。

• 因果注意力机制 (Causal Attention)：这是实现自回归的关键。在处理第N个token时，模型只能“看到”前N-1个token的信息，而不能“偷看”后面的内容。这种机制天然地适配了生成任务中逐token预测的模式。

• 语义对齐：在训练时，语义解码器输出的特征会与CLIP等模型的视觉特征进行对齐。这确保了其输出的特征不仅在视觉上是连贯的，在语义上也与文本描述空间保持一致。这使得大语言模型能够轻易地“读懂”这些视觉特征。

经过这一阶段，紧凑的图像“摘要”被扩展成了一篇详细的、图文并茂的“说明书”，其中每个部分都带有丰富的语义标签。

2.4 第三阶段：像素解码器 (Pixel Decoder)

此阶段的目标是高保真重建。它接收来自语义解码器的高维语义特征，并负责将其还原为最终的像素图像。

• 像素反混洗层 (Pixel Unshuffle Layer)：这是一个关键的创新点。在将特征送入Transformer块之前，模型会先应用一个像素反混洗层。这个操作在不增加计算量的前提下，巧妙地增加了视觉token的数量，同时减小了每个token对应的有效感受野（patch size）。更多的token和更小的感受野意味着模型能够更好地捕捉和重建图像的精细纹理和锐利边缘。

• 双重条件训练：像素解码器在训练时会同时接收被掩码和未被掩码的语义特征，并学习重建完整的图像。这种设置迫使解码器具备更强的鲁棒性，即使在部分信息缺失或有噪声的情况下，也能恢复出高质量的细节。这模拟了自回归生成过程中，token被逐个生成、上下文信息尚不完整的真实情况。

通过这三个阶段的协同工作，MingTok成功地构建了一个既能被高效压缩和解压，又能被语言模型轻松理解的统一视觉表示。

❖ 三、Ming-UniVision：真正统一的多模态系统

基于MingTok提供的强大基础，Ming-UniVision构建了一个在架构层面就实现了真正统一的多模态大语言模型。其统一性体现在输入、输出和内部处理流程的每一个环节。

3.1 统一的输入表示与处理接口

Ming-UniVision最核心的设计理念之一，是为大语言模型（LLM）提供一个单一、稳定的视觉信息输入源。

• LLM始终消费语义特征：无论当前任务是理解一张用户上传的图片，还是在生成一张新图片的过程中进行决策，LLM所“看到”的视觉信息，永远是来自MingTok第二阶段（语义解码器）输出的高维语义特征。

  • 在理解任务中：真实图像经过低层编码器和语义解码器，一次性并行计算出所有语义特征，然后送入LLM。

  • 在生成任务中：LLM通过其视觉头（Visual Head）逐个生成紧凑的潜在token。每个新生成的token会立即通过语义解码器扩展为对应的语义特征，并作为下一个token预测的上下文反馈给LLM。

这种设计创造了一个无缝的接口。LLM无需关心视觉内容的来源是真实的感知（Perception）还是内部的合成（Synthesis），它处理的数据格式始终如一。

3.2 统一的自回归预测范式

在输出端，Ming-UniVision同样采用了统一的范式。无论是生成文本还是生成图像，都遵循标准的下一个token预测（Next-Token Prediction）框架。

• 文本生成：使用标准的语言模型头进行预测，与预训练的LLM完全兼容。

• 视觉生成：LLM外接一个专门的视觉头。在需要生成图像的步骤，这个视觉头会根据当前的上下文，预测出下一个紧凑的连续潜在token（即MingTok第一阶段的输出）。这个过程会循环256次，生成完整的图像表示。

研究团队对这个视觉头进行了两项关键改进：

1. 整流流（Rectified Flow）预测目标：取代了传统的基于扩散的去噪头。整流流允许模型以更直接、更稳定的路径从噪声预测目标token，这带来了更快的收敛速度和更少的推理步骤，显著提升了生成效率。

2. SwiGLU前馈网络：在视觉头的MLP块中，使用基于SwiGLU激活函数的前馈网络替换了标准的FFN。实验证明，在相同的参数预算下，SwiGLU能够提升潜在token的预测精度，从而改善最终的图像质量。

3.3 架构优势：告别双分支开销

Ming-UniVision的单轨统一架构，与那些试图融合自回归和扩散的混合模型相比，具有显著的效率优势。

混合模型通常需要维护一个“双分支”系统：

• 一个分支用于自回归地处理文本和控制信号。

• 另一个分支用于对每张图像进行扩散去噪生成。

这种设计带来了巨大的开销：

• 计算与显存开销：在多轮生成中，模型需要同时在内存中保留多种异构的表示，如用于理解的语义特征、用于去噪的噪声潜在表示、以及用于调节后续步骤的干净潜在表示。这使得token序列长度急剧增加。

• 复杂的注意力掩码：需要设计非常规的注意力掩码方案，来管理不同特征空间、不同轮次之间的依赖关系，增加了实现的复杂性和出错的风险。

• 推理延迟：多轮编辑需要在异构空间之间频繁转换，增加了端到端的延迟。

Ming-UniVision通过其彻底的统一范式，从根本上避免了这些问题。单一的下一个token预测目标简化了训练和推理，使其在处理长序列、多轮次的交互任务时，表现出远超混合架构的效率和可扩展性。

❖ 四、交互革新：从静态生成到动态协作

Ming-UniVision的架构优势最终体现在了用户体验的革新上。它将图像编辑从一种静态、单向的操作，转变为一种动态、双向的协作过程。

4.1 高效的多轮就地编辑 (In-Place Editing)

这是Ming-UniVision最引人注目的能力。由于所有操作都在统一的潜在空间内进行，模型可以实现真正意义上的“就地”编辑，其工作流如下：

1. 初始生成：用户给出指令“画一只猫在草地上”，模型生成对应的256个潜在token，并通过像素解码器呈现图像。

2. 保持上下文：这256个token及其对应的高维语义特征保留在模型的上下文（潜在空间）中。

3. 迭代修改：用户继续输入“给猫戴上一顶红色的帽子”。这个新的文本指令会与之前保留的视觉语义特征拼接在一起，作为新的上下文送入LLM。

4. 增量更新：LLM根据新的上下文，生成一组更新后的潜在token。这个过程可能只修改了与“猫头”区域对应的少数几个token，而其他token保持不变。

5. 呈现结果：更新后的token序列通过像素解码器，生成修改后的图像。

整个过程完全在潜在空间内闭环，彻底绕过了昂贵的像素空间往返重编码。这带来了三大好处：

• 低延迟：响应速度快，交互体验流畅。

• 无累积退化：避免了反复编解码带来的质量损失，即使经过多轮编辑，图像保真度依然很高。

• 支持复杂操作：支持可逆修改、连续细化等高级编辑功能，因为模型的每一步操作都有完整的历史上下文。

4.2 “视觉化思维链”：透明的编辑过程

为了解决AI编辑中常见的“指令理解偏差”问题，研究团队开发了一种新颖的交互范式——视觉化思维链（Visualized Chain-of-Thought）。

传统编辑模型直接输出最终结果，如果结果不符合预期，用户很难判断是模型没听懂指令，还是执行能力不足。视觉化思维链将编辑过程分解为两步：

1. 意图可视化：当用户发出编辑指令时（例如“把背景换成星空”），模型首先会生成一张中间图像。在这张图上，模型会用彩色覆盖层高亮显示它所理解的、需要被编辑的区域（即“背景”）。

2. 执行编辑：这张带有高亮区域的中间图，会作为强视觉先验，连同原始指令一起，指导模型生成最终的编辑结果。

这种“先规划，后执行”的模式，将模型的推理过程直观地呈现给用户。

• 提升透明度：用户可以清晰地看到模型的“思考过程”，判断其对指令的理解是否准确。

• 减少编辑歧义：中间的可视化结果为后续的生成提供了强空间约束，避免了模型在错误的位置进行修改。

• 增强语义一致性：实验表明，采用视觉化思维链的方法，在语义一致性评分上比单步基线提升了0.5分，证明了其在确保编辑结果符合用户意图方面的有效性。

这种端到端的视觉推理与生成框架，实现了理解与编辑的无缝集成，让AI图像编辑变得前所未有的透明和可控。

❖ 五、训练策略与系统优化

构建这样一个复杂的统一模型，需要一套精心设计的多阶段训练策略。Ming-UniVision的训练过程就像培养一位全才艺术家，循序渐进地为其注入理解、生成和编辑的能力。整个过程分为预训练和监督微调两大阶段。

5.1 预训练阶段：构建基础视觉语言能力

预训练的目标是使用大规模的无标注或弱标注数据，让模型掌握通用的图像理解和生成能力。

5.1.1 第一步：连接层与视觉头预热

这个初始阶段的目标是“校准”LLM与MingTok之间的连接。

• 冻结主干：在此阶段，LLM主干和MingTok的主体部分都保持冻结状态，不参与梯度更新。

• 训练目标：只训练连接LLM和MingTok的MLP层，以及用于预测潜在token的视觉头（整流流头）。

• 数据配比：训练数据混合了约30%的理解任务（如图文对）和70%的自回归生成任务（如文本到图像）。这种配置确保了从视觉到语言（V→L）和从语言到视觉（L→V）两条路径都被初步打通和预热。

这个步骤非常关键，它为后续的联合训练提供了一个稳定、可靠的起点，避免了在训练初期由于组件不匹配导致的梯度爆炸或收敛困难。

5.1.2 第二步：联合图像理解与生成预训练

在连接稳定后，模型开始进行大规模的联合预训练，目标是构建强大的单轮视觉语言能力。

• 解锁LLM：此阶段解锁LLM的参数，允许它在自回归生成过程中学习视觉token之间的复杂序列关系和结构。

• 选择性解锁MingTok：为了在不破坏预训练好的潜在空间稳定性的前提下，增强模型对高分辨率图像的感知能力，研究团队采取了一个巧妙的策略。他们只解锁MingTok的语义解码器，而保持低层编码器固定。

• 混合分辨率训练 (Mixed-Resolution Training)：

  • 对于理解任务：输入图像被放大到1024x1024分辨率。这使得语义解码器能够学习产生与文本语义对齐的、包含更多细节的高保真视觉嵌入。

  • 对于生成任务：输入图像保持在512x512分辨率。这主要是出于计算效率的考虑，并且确保了与预训练阶段紧凑潜在空间（256个token）的兼容性。

这种非对称的训练设置，使得模型能够在理解时“看得更清”，在生成时“画得更快”，实现了感知细节与生成效率之间的精妙平衡。

5.2 监督微调（SFT）阶段：对齐人类意图

预训练赋予了模型强大的基础能力，而监督微调则使用高质量的指令数据，使模型的行为与人类的期望和指令对齐。

5.2.1 第一步：对齐标准视觉语言能力

此阶段的目标是让模型在标准的视觉问答、图像描述、文本到图像生成等任务上表现得更好。

• 冻结MingTok：在SFT的第一阶段，整个MingTok被冻结。研究团队发现，在此阶段继续训练语义解码器并不会带来显著的性能提升，反而可能影响稳定性。

• 解锁其余部分：LLM和视觉头等其余部分则被完全解锁进行微调。

• 数据配比：数据分布调整为约30%的理解任务、10%的通用NLP任务和60%的文本到图像生成任务。

5.2.2 第二步：强化多轮与上下文内操作

这是实现高级交互能力的关键一步。

• 引入编辑数据：此阶段引入了大量专注于图像编辑和上下文内操作的指令数据。研究团队构建了专门的“指令链”数据集，用于训练模型处理迭代编辑、细化等复杂的多轮任务。

• 数据配比调整：数据构成显著向编辑任务倾斜，调整为约15%理解、5% NLP、35%标准文本到图像生成，以及高达55%的单轮或多轮编辑任务。

通过这套精心设计的多阶段、多任务、多分辨率的训练流程，Ming-UniVision逐步从一个通用的视觉语言模型，演化为一个精通多轮对话式编辑的专业助手。

5.3 多轮编辑性能的针对性改进

为了进一步提升模型在多轮编辑场景下的鲁棒性，研究团队还进行了一项有趣的实验。他们发现，在训练数据中加入一个看似不相关的辅助任务——图像分割，能够显著提升编辑的语义一致性。

• 实验设计：他们设计了一个“重建+分割+编辑”的任务范式。即要求模型在重建原始图像后，先输出一个分割掩码来标识出待编辑区域，然后再执行编辑操作。

• 实验结果：引入分割任务后，模型在11个编辑任务类别中的9个上，语义一致性都得到了提升。平均语义一致性分数提高了0.41分。

• 原因分析：分割任务本质上是鼓励模型在其潜在空间内学习细粒度的边界定位和语义分区。这种结构化的先验知识，帮助模型在执行编辑时能更准确地定位操作区域，减少了语义漂移和错误修改。

这一发现揭示了，通过引入结构化辅助任务来对潜在空间进行正则化，是提升复杂、顺序编辑任务性能的有效途径。

❖ 六、性能评估与消融实验

一个模型的优劣，最终需要通过全面的实验数据来验证。研究团队对Ming-UniVision在多个维度上进行了严格的评估，并设计了详尽的消融实验来验证其核心设计选择的有效性。

6.1 多维度性能评估

6.2 核心消融实验：统一表示的价值

为了证明“统一表示”是关键，而非仅仅是MingTok本身性能优越，研究团队设计了一组至关重要的消融实验。他们对比了四种不同的标记器组合方式：

这个实验清晰地揭示了几个关键结论：

1. 统一表示优于分离表示：无论具体标记器是什么，当理解和生成使用统一表示时，模型在两个任务上的性能都更好。这证明了在共享空间中进行联合训练，比在分离空间中训练然后试图对齐要有效得多。

2. MingTok作为生成标记器优于VAE：在所有组合中，使用MingTok作为生成标记器的配置，其生成性能都显著优于使用VAE的对应配置。这得益于MingTok的特征同时包含了细节和语义，加速了收敛。

3. 联合训练的性能权衡：实验还发现，纯生成模型（只训练生成任务）的性能略高于联合训练的统一模型。然而，Ming-UniVision的统一表示最小化了这种性能差距，表明其在平衡多任务学习方面做得非常出色。

❖ 七、局限性与未来展望

尽管Ming-UniVision取得了显著的突破，但研究团队也坦诚地指出了当前系统的局限性，并为未来的发展指明了方向。

7.1 当前的技术局限

• 高压缩比对细粒度编辑的挑战：当前32倍的压缩比意味着每个潜在token都编码了大量的视觉细节。这种高信息密度使得对图像进行微小、精确的修改变得困难，因为对一个token的微小扰动可能导致像素空间中大范围的、不可控的变化。

• 缺乏大规模交错预训练：模型目前主要依赖SFT来学习编辑能力。如果能在预训练阶段就接触大量文本和图像交错出现的序列数据，将有助于模型学习到更具泛化性的编辑模式，从而更好地处理未见过的复杂指令和更长的编辑序列。

• 对自由形式交互的支持不足：虽然模型支持结构化的多轮编辑，但对于更自由、更动态的交互模式（如“描述→生成→比较→修订→再生成”的任意组合）支持仍然有限。当前的训练范式未能充分为此类任务切换做好准备。

7.2 未来发展方向

• 探索可变压缩比或分层标记化：未来的工作可以探索分辨率更高、压缩比更低的标记化方案，以减少每个token的信息负载，从而提升细粒度编辑的精度。分层（Hierarchical）Tokenizer也是一个有前景的方向，可以用不同粒度的token分别表示图像的结构和细节。

• 构建大规模交错序列数据集：这是提升复杂、长程交互能力的关键。通过在预训练中引入大规模的对话式、交互式图文数据，可以从根本上提升模型的上下文理解和动态任务执行能力。

• 深化理解与生成的协同增强：统一表示的真正潜力在于实现生成和理解之间的相互促进。未来可以设计更明确的训练目标，让生成中学到的组合推理能力反哺理解任务，让理解中获得的结构先验指导生成过程，形成一个良性循环。

结论

Ming-UniVision及其核心技术MingTok，为多模态AI领域长期存在的“理解-生成”二元困境提供了一个优雅且有效的解决方案。通过构建一个统一的连续潜在空间，它成功地将两个看似矛盾的任务整合到单一的自回归预测框架之下。这不仅极大地简化了模型架构，提升了系统效率，更重要的是，它解锁了前所未有的流畅、高效、透明的多轮交互式编辑体验。

这项工作代表了多模态AI从“模型组合”的割裂时代，向“认知统一”的整合时代迈出的重要一步。它所倡导的统一表示范式，以及在交互设计上的创新探索，无疑将对未来人机协作系统的发展产生深远影响。随着技术的不断演进，我们有理由期待，一个能够像人类一样无缝地在感知、思考与创造之间切换的AI助手，正向我们走来。

📢💻 【省心锐评】

Ming-UniVision用一个统一的连续Token空间，巧妙地终结了视觉理解与生成的“内战”。其核心价值在于实现了高效的“就地”多轮编辑，让AI图像创作从静态指令执行，真正迈向了动态的人机协作。