InternSVG统一矢量智能：上海AI实验室用多模态大模型攻克SVG理解、编辑与生成

【摘要】多模态大模型InternSVG统一处理SVG理解、编辑与生成。通过超大规模数据集与统一建模，实现矢量图形AI的范式突破，为结构化内容创作提供全新工程范本。

引言

在数字内容领域，图形的表达形式主要分为两大阵营，位图（Raster Graphics）与矢量图（Vector Graphics）。前者由像素构成，擅长表现复杂的色彩与光影，是摄影与写实绘画的主流。后者则基于数学方程描述，以点、线、曲线定义形状，具备无损缩放的独特优势。可缩放矢量图形（SVG）正是W3C制定的开放网络标准，其本质是一段结构化的XML代码，精确描述了图形的几何形态、样式与动画行为。

这种“代码即图形”的特性，使SVG在Web设计、UI图标、科学可视化等领域占据核心地位。但对人工智能而言，SVG的处理却是一个长期存在的难题。传统视觉模型擅长处理像素矩阵，面对SVG这种层次化、符号化的代码描述，如同让一位只懂油画的艺术家去解读建筑施工图，存在天然的认知鸿沟。

过去的解决方案往往是“头痛医头，脚痛医脚”。生成模型专注于从文本到SVG的转换，编辑工具则依赖于固定的规则或小规模模型，理解任务更是局限于简单的分类或属性提取。这些方案任务割裂、数据稀缺、能力边界狭窄，尤其在复杂的语义编辑与动态SVG生成方面，始终未能取得实质性突破。

面对这一系列挑战，上海AI实验室联合上海交通大学、南京大学等机构，提出了一个系统性的解决方案，InternSVG。它并非一个孤立的模型，而是一个包含超大规模数据集SAgoge、全方位评测基准SArena与统一多模态模型InternSVG的三位一体技术体系。这套体系的目标，是彻底攻克SVG的理解、编辑与生成三大核心任务，让AI真正掌握矢量图形的创作艺术。

❖ 一、SVG的困境与破局之道

1.1 SVG的本质挑战

要理解InternSVG的价值，首先需要剖析AI处理SVG的根本困难。

1.1.1 双重模态的复杂性

SVG数据具有内在的双重模态。它既是视觉内容，呈现为具体的图形。它又是结构化代码，遵循严格的XML语法。AI模型必须同时理解这两种模态，并将它们紧密关联。例如，模型需要知道SVG代码中的<circle cx="50" cy="50" r="40" fill="red"/>标签，在视觉上对应一个位于(50,50)坐标、半径为40的红色圆形。这种跨模态的映射关系，对模型的结构理解能力提出了极高要求。

1.1.2 层次化与组合性

一个复杂的SVG图形通常由大量基本元素（路径、形状、文本）通过分组（<g>标签）、变换（transform属性）和样式（CSS）组合而成。这种层次化的结构带来了组合爆炸的可能性。AI不仅要理解单个元素的属性，更要理解它们之间的嵌套、遮挡、对齐等空间与逻辑关系。一个微小的代码变动，可能导致视觉效果的剧烈变化。

1.1.3 语义的隐晦性

SVG代码本身是低层级的几何描述，而人类的创作意图是高层级的语义概念。例如，“画一个微笑的太阳”，需要AI将“微笑”和“太阳”这两个语义概念，拆解为黄色的圆形、弧形的嘴巴、放射状的线条等一系列SVG元素的组合。这种从高层语义到低层代码的转换，是创造性生成的最大障碍。

1.2 现有方案的局限

在InternSVG出现之前，业界对SVG的处理方案存在明显短板。

1.3 InternSVG的三位一体架构

InternSVG的设计思想，是从根本上解决上述问题。它没有选择单点突破，而是构建了一个相互支撑的完整生态。

这个架构清晰地展示了其破局之道。

• SAgoge数据集是“燃料”，为模型提供海量、多样化的学习素材。

• SArena评测基准是“标尺”，科学、客观地度量模型的能力。

• InternSVG模型是“引擎”，基于前两者，实现对SVG的深度掌控。

这三者共同构成了一个从数据输入、模型训练到能力评估的闭环系统，为实现真正的统一矢量智能奠定了坚实基础。

❖ 二、数据基石 SAgoge数据集的构建与解析

数据是现代AI的驱动力。InternSVG的卓越性能，很大程度上归功于其背后前所未有的SAgoge数据集。该数据集包含超过1600万个训练样本，其规模和多样性都达到了新的高度。

2.1 数据集的宏观构成

SAgoge数据集的设计充分考虑了任务的全面性和难度梯度，涵盖了从简单到复杂、从静态到动态的四大领域。

从表格中可以看出，插图数据的平均字符数几乎是图标的十倍，这直观地反映了其结构复杂度的巨大差异。这种数据梯度的设计，为后续的课程式学习策略埋下了伏笔。

2.2 精密的自动化生产管线

高质量的数据源于严谨的生产流程。SAgoge针对不同类型的数据，设计了专门的自动化生产管线。

2.2.1 插图数据生产流程

复杂的插图数据是整个数据集构建的难点。团队设计了一套“文本 -> 图像 -> SVG”的转换流程。

这个流程的精妙之处在于，它首先确保了内容的语义多样性（通过GPT-4o），然后保证了视觉风格的一致性（通过特定的图像生成模型），最后通过高效的矢量化工具VTracer，实现了到结构化SVG代码的转换。

2.2.2 专业与动态数据生产

• 化学分子数据，研究团队直接利用权威的PubChem数据库，将其中的化学分子信息通过专用工具转换为SVG格式。这保证了数据的专业性和准确性。

• 动画数据，由于高质量的开源SVG动画极为稀缺，团队创造性地利用了大型语言模型的代码生成能力。他们以Claude-Sonnet-4为基础，依据SMIL（同步多媒体集成语言）标准，合成了大量SVG动画。为了保证动画的可用性，还设定了严格的约束条件，如固定的画布尺寸和必需的动画元素，确保生成的动画既能正常播放，又适合模型进行大规模训练。

这种因地制宜、高度自动化的数据生产方式，是SAgoge能够达到如此规模和质量的关键。

❖ 三、度量衡 SArena评测基准的设计

一个强大的模型需要一个科学的评测体系来验证。SArena评测基准为InternSVG乃至后续的SVG AI研究，提供了一把精准的“标尺”。它全面覆盖了理解、编辑、生成三大任务。

3.1 评测任务的全景视图

SArena的设计力求全面且贴近实际应用场景。

1. 理解任务 (Understanding)

   • 颜色识别，判断图形的主要颜色。

   • 几何形状分析，识别图形中包含的特定形状（如圆形、矩形）。

   • 数量统计，统计特定元素的数量。

   • 语义理解，根据SVG代码判断其所描绘的物体或概念。这是最具挑战性的理解任务。

2. 编辑任务 (Editing)

   • 基础操作（8种），包括改变颜色、添加描边、平移、缩放、旋转、镜像、调整透明度和裁剪。这些是图形编辑的“基本功”。

   • 复杂操作（2种），包括语义颜色编辑（如“把苹果变成绿色”）和风格转换。这要求模型具备更高层次的语义理解与重构能力。

3. 生成任务 (Generation)

   • 文本到SVG (Text-to-SVG)，根据文本描述生成静态SVG图形。

   • 图像到SVG (Image-to-SVG)，将位图图像转换为SVG格式。

   • 文本到SVG动画 (Text-to-Animation)，根据文本描述生成动态SVG。

   • 视频到SVG动画 (Video-to-Animation)，将视频片段转换为SVG动画。

3.2 多维度的评价指标

为了确保评测的客观公正，SArena为不同任务设计了专门的评价指标。

• 对于编辑任务，主要使用视觉相似度指标（如LPIPS）来衡量编辑结果与预期目标的接近程度。

• 对于生成任务，则采用一套综合指标，包括：

  • FID (Fréchet Inception Distance)，衡量生成图像与真实图像在特征空间的分布相似度，反映图像质量。

  • 语义一致性，评估生成图形是否符合输入描述的语义。

  • 文本匹配度，通过CLIP Score等指标计算生成图像与输入文本的匹配程度。

这套全面的评测体系，确保了对模型能力的评估既深入又广泛，为后续的技术迭代指明了方向。

❖ 四、核心引擎 InternSVG模型的技术剖析

在坚实的数据和评测基础上，InternSVG模型作为核心引擎，其架构设计与训练策略充满了工程智慧。

4.1 统一多模态架构

InternSVG采用了当前主流的视觉编码器 + 语言模型的多模态架构。

• 视觉编码器 (Vision Encoder)，负责处理输入的图像或视频信号，将其转换为语言模型可以理解的特征向量。

• 语言模型 (Large Language Model)，作为系统的“大脑”，负责接收处理后的视觉特征和文本指令，理解用户意图，并最终生成结构化的SVG代码。

该架构的核心优势在于端到端。无论是理解、编辑还是生成任务，模型都直接输出SVG代码字符串。这种统一的输入输出格式，是实现“统一建模”的基础。

4.2 SVG专用词表的设计与初始化

语言模型处理文本，首先需要进行分词（Tokenization）。标准的分词器对自然语言很有效，但对SVG这种具有严格语法的标记语言则效率不高。SVG代码中充满了<path>、fill、transform等高频专用词汇。

为此，研究团队为模型设计了SVG专用词表。

• 新增55个标签词汇，如svg, path, circle等。

• 新增42个属性词汇，如fill, stroke, viewBox等。

• 新增247个整数词汇和110个小数词汇，用于精确描述坐标和尺寸。

更巧妙的是这些新词汇的初始化方法。传统方法通常是随机初始化，然后通过训练慢慢学习其含义。InternSVG则采用了基于子词语义推导的方式。例如，“circle”这个新词汇的初始向量表示，是通过其构成子词“c-i-r-c-l-e”在原有词表中向量表示的平均值来计算的。

这种做法相当于为模型提供了先验知识，让它从已知的简单词汇推断新专业词汇的含义，显著加快了模型的收敛速度，并提升了训练的稳定性。

43. 两阶段课程式学习策略

面对SAgoge数据集中难度差异巨大的数据，InternSVG采用了**课程式学习（Curriculum Learning）**的策略，模拟人类“先易后难”的学习过程。

• 第一阶段，基础能力训练。

  • 使用数据，仅包括结构简单的图标和化学分子数据。

  • 训练目标，让模型掌握SVG的基本语法、几何元素的表达方式以及简单的样式属性。这个阶段相当于打好“基本功”。

• 第二阶段，综合能力提升。

  • 使用数据，在第一阶段的基础上，加入结构复杂的插图和包含时序信息的动画数据。

  • 训练目标，提升模型对复杂层次结构、组合关系以及动态变化的理解与生成能力。这个阶段是“拔高”训练。

实验证明，与直接使用所有数据进行一阶段训练相比，这种两阶段的课程式学习策略，在复杂任务上的性能提升尤为显著。例如，在插图生成任务中，FID-C指标从25.67大幅改善至5.14，DINO指标从0.830提升至0.924。这充分说明，符合认知规律的训练策略对大型模型的性能至关重要。

4.4 统一建模的收益分析

InternSVG最核心的设计理念之一是统一建模，即用一个模型处理所有三类任务。为了验证其有效性，研究团队进行了详细的消融实验，比较了分别训练单任务模型、双任务模型和三任务联合训练的统一模型的效果。

结果非常清晰，在仅有10万样本的小规模实验中，三任务联合训练的统一模型在各项指标上都全面超过了单任务和双任务模型。

这种现象被称为正向迁移（Positive Transfer）。不同任务的训练过程可以相互促进，共享知识。

• 理解任务的训练，帮助模型更好地掌握SVG的语法结构和语义规律。

• 编辑任务的训练，提升了模型对图形细节的操控精度和敏感度。

• 生成任务的训练，则增强了模型的创造性组合与高层规划能力。

这三者相互反哺，最终实现了“1+1+1 > 3”的效果。统一建模不仅简化了系统架构，避免了维护多个模型的复杂性，更从根本上提升了模型的综合智能水平。

❖ 五、性能评估与横向对比

InternSVG的有效性最终需要通过严格的实验数据来证明。研究团队在SArena评测基准上，将其与多个主流的开源及商业化多模态大模型进行了全面对比。

5.1 理解任务的压倒性优势

在SVG理解任务中，InternSVG展现出了卓越的能力，尤其是在需要深度推理的语义理解上。

从数据可以看出：

• 总体性能领先，InternSVG的总体准确率达到85.1%，显著高于第二名的Claude-4-Sonnet（77.2%）。

• 语义理解近乎完美，在最能体现模型深度理解能力的语义理解子任务上，InternSVG取得了99.7%的惊人准确率。这表明它已经能够准确地将低层级的SVG代码映射到高层级的抽象概念，而不仅仅是进行机械的模式匹配。

5.2 编辑任务的精准操控

在编辑任务中，InternSVG同样表现出色。在颜色、缩放、旋转等八种基础操作上，它在多个子任务中达到了近乎100%的准确率。在更复杂的语义颜色编辑任务中，其视觉质量指标（LPIPS，值越低越好）也远超其他模型，达到了0.996的优异水平，证明其编辑既准确又保留了原图的结构与质感。

5.3 生成任务的高质量与高效率

生成任务是衡量模型创造力的关键。InternSVG在这一环节的表现，不仅体现在生成质量上，更体现在代码效率上。

5.3.1 生成质量对比

以图标生成任务为例，InternSVG在多个关键指标上均取得最佳成绩。

• FID指标显著领先，InternSVG的8.715分远低于对比模型的14.931分，表明其生成的图像在视觉真实感和多样性上都更胜一筹。

• 文本匹配度更高，更高的CLIP Score和DINO Score说明InternSVG生成的SVG图形能够更准确地反映文本描述的内容。

5.3.2 代码效率的革命性提升

除了视觉质量，InternSVG生成的SVG代码本身也极具优势。平均而言，它生成的图标代码只需要约1000个字符。相比之下，传统的图像矢量化管线或一些优化不佳的模型，生成的代码动辄上万个字符，充满了冗余的路径点和不必要的标签。

这种简洁高效的代码带来了直接的工程价值。

• 减少存储空间，对于拥有海量矢量资产的平台，可以节省大量存储成本。

• 提高渲染速度，更少的代码意味着浏览器解析和渲染更快，能有效提升网页和应用的加载性能。

5.4 专业领域的专项优势

通用模型由于缺乏特定领域的训练数据，在处理专业图形时往往表现不佳。InternSVG凭借SAgoge数据集中专门的化学分子和动画数据，在这两个领域建立了明显的优势。

• 在化学结构图生成任务中，其表现远超所有通用多模态模型。

• 在动画生成这个最具挑战性的任务中，InternSVG也达到了接近甚至在某些方面超越顶级商业化模型的性能水平。

❖ 六、应用价值与产业影响

InternSVG的技术突破，并非停留在学术层面，它为多个行业带来了切实的变革潜力。

6.1 支撑“代码即创意”的新范式

传统图形设计依赖于可视化的图形用户界面（GUI），设计师通过鼠标点击和拖拽来完成创作。InternSVG的出现，为**“代码即创意”**这一新型设计范式提供了强大的技术基础。

设计师和开发者未来可以通过自然语言与AI进行对话，来完成设计工作。

用户：“创建一个科技蓝色的齿轮图标，让它缓慢顺时针旋转。”
InternSVG：(直接生成对应的SVG代码)

这种模式将设计的焦点从繁琐的手动操作，转移到更高层次的创意构思和美学指导上，极大地提升了设计效率和创作自由度。

6.2 赋能多元化应用场景

• Web与移动端开发，自动化生成高质量、轻量化的UI图标、背景插图和动态效果，加速产品迭代。

• 科学研究与可视化，帮助化学家、物理学家和生物学家快速绘制专业的分子结构图、实验装置图和数据图表。

• 教育与内容创作，将复杂的概念和知识点，转化为直观、易于理解的矢量图形或动画，提升教学和传播效果。

6.3 树立行业新标杆

InternSVG的整个技术体系，包括其数据集构建方法、评测标准设计和统一建模理念，都为后续的AI图形学研究提供了宝贵的经验和基础设施。SAgoge和SArena有望成为该领域的标准数据集和基准测试，推动整个社区的快速发展。

❖ 七、局限、挑战与未来展望

任何技术都不是完美的，InternSVG同样面临着一些现实的挑战和需要进一步探索的方向。

7.1 当前的局限与挑战

• 计算资源消耗，训练和推理如此规模的统一模型，需要大量的计算资源，这构成了其普及应用的一个门槛。

• 数据质量的持续治理，SAgoge数据集虽然规模庞大，但要确保持续的高质量，需要不断进行数据清洗、标注修正和内容扩充，这是一项长期而艰巨的任务。

• 复杂风格迁移的提升空间，在一些高度抽象或艺术化的风格转换任务中，模型的表现仍有待提升，对细粒度美学风格的把握还不够精准。

• 版权与原创性问题，AI生成内容的版权归属和原创性界定，是一个复杂的法律和伦理问题。随着AI创作能力的增强，如何保护原创作者的权益，避免侵权风险，是整个行业需要共同面对和解决的课题。

7.2 未来发展方向

InternSVG为矢量图形AI开辟了广阔的前景。未来的研究可以从以下几个方向展开。

• 向三维及更复杂领域扩展，将InternSVG的统一建模思想，从二维SVG扩展到三维建模（如生成glTF格式）、科学动画、甚至建筑信息模型（BIM）等更专业的领域。

• 深度融入设计工具链，将InternSVG作为插件或核心引擎，无缝集成到Figma、Adobe Illustrator等主流设计软件中，构建人机协同的下一代创作工作流。

• 模型轻量化与优化，研究模型蒸馏、量化等技术，开发更小、更高效的InternSVG版本，使其能够在边缘设备或普通个人电脑上流畅运行，降低使用门槛。

结论

InternSVG并非简单地发布了一个新模型，而是通过构建数据、评测、模型三位一体的完整技术体系，系统性地解决了长期困扰AI领域的SVG处理难题。其统一建模的理念，证明了多任务联合训练在提升模型综合智能上的巨大潜力；其课程式学习策略，为训练复杂多样的多模态数据提供了有效的工程范本。

这项工作不仅在技术指标上实现了全面领先，更重要的是，它重新定义了AI在结构化、符号化内容创作中的角色。它让AI不再仅仅是像素的模仿者，而是能够理解规则、遵循逻辑、进行精确创作的“数字工匠”乃至“艺术家”。InternSVG的出现，标志着矢量图形AI进入了一个新的发展阶段，一个由统一智能驱动、人机深度协作的创作新时代，正向我们走来。

📢💻 【省心锐评】

InternSVG以数据、评测、模型三位一体的工程思维，实现了矢量图形AI从割裂到统一的范式转变。它不仅是一个强大的工具，更是人机协同创作新模式的探路者。